Bâti à Caudiès-de-Fenouillèdes, dans la région naturelle des Fenouillèdes, il est comme son compère le Castel Sabarda, lui aussi en ruine. Il était l'autre atout du système de défense du château St Pierre de Fenouillet, avec le Castel Sabarda.

Simple poste militaire munie d'une tour de guet, Castel Fizel fut cité dès le 12e siècle. 
C'était un lieu d'observation sur toute la vallée de la Boulzane. 
Il fut construit par les vicomtes de Fenouillet au 12e siècle, puis inféodé à une famille occitane qui prit le nom de Castelfisel. Il figura dès 1260, dans un état des garnisons des places fortes de la Sénéchaussée de Carcassonne. 
Il passa ensuite entre les mains de divers seigneurs privés. 

Au pied de la colline, une église castrale dédiée à Saint-Jacques fut édifiée. Elle fut (tout comme l'église Saint-André de Castel Sabarda) citée en 1011 dans une bulle du Pape Serge IV au sujet de Saint-Pierre de Fenouillet. Aujourd’hui ruinée, il ne reste que quelques murs de sa nef et de son abside.
Le Castel Fizel ou "château fidèle" tomba en ruine au cours du 18e siècle.

Contrairement au château de Saint-Pierre de Fenouillet et de Castel Sabarda, le Castel Fizel ne bénéficie pas d'une protection au titre des Monuments Historiques.