Le château apparut pour la première fois dans un document écrit en 1011. Situé à 200 m d'altitude dominant la vallée, il s'adaptait à l'éperon rocheux sur lequel il se trouvait, à l'instar des châteaux de Peyretuse, ou de Quéribus. La tour Del Far en ligne de mire jouait quant à elle son rôle de vigie.
Propriété de la famille de Vernet au début du 12e siècle, il passa aux mains des comtes d'Empúries en 1261 avant d'être racheté par le futur roi Jacques II de Majorque en 1269.

Un premier village apparaîtra aux pieds des falaises, mais sera rapidement abandonné au profit d'un regroupement dans une première enceinte castrale appelé "barri" qui ceinturait le château. Un petit lot de monnaies,  datant du règne Alphonse II d’Aragon (12e siècle) aurait été découvert en contrebas des falaises nord. 

Il aurait possédé sa propre chapelle, Santa Maria del Castell de Talteüll qui pendant un temps fut l'église paroissiale. 
📷 ©Fabricio Cardenas 🔻

Naturellement défendu par les parois verticales de l'éperon rocheux sur lequel il est situé, le castrum subira cependant plusieurs assauts, dont celui des troupes françaises, sous le règne de  Louis XI en 1474.

Lorsqu'éclata la Guerre de 30 ans au début du 17e siècle, le château fut confié à la famille d'Oms. Le roi de France Louis XIII enverra ses troupes sur les forteresses qui défendaient la frontière en 1639. Le 6 septembre 1639, le château de Tautavel tombera aux mains des troupes du Prince de Condé conduites par le Maréchal de Schomberg. 
📷 ©Fabricio Cardenas 🔻

Le castrum déjà malmené en 1474 subira un dernier assaut quand les Français le démoliront définitivement à l'explosif en 1717. 
Il n'en reste de nos jours que quelques ruines, principalement un mur de 15 mètres de haut, la voûte d'une porte d'accès, le trou d'une citerne et les vestiges d'une tour cylindrique. L'ensemble du site étant à fleur de falaise, son accès nécessite une grande vigilance. 
Il est inscrit aux Monuments Historiques depuis 1986.