Le château d'Ultrera aujourd'hui en ruines, est un ancien château fort, situé au sommet d'un éperon rocheux du massif des Albères, sur la commune d'Argelès-sur-Mer.

Perché à 530 m d’altitude, il dominait un passage entre le Roussillon et l’Espagne. Probablement fortifié par les Romains, et par la suite par les Wisigoths au 5e siècle, il est historiquement lié à la commune de Sorède.
Au Moyen Âge le château fut attaché à la seigneurie de Sorède. Les seigneurs de Sorède étant qualifiés de Seigneurs de Sorède et Ultrera, ils résidèrent au château d'Ultrera jusqu'à la construction d'une résidence seigneuriale dans le village.

Vers l'an 1000, une chapelle de style roman fut bâtie dans le château et dédiée à la Vierge. La chapelle Sainte Marie devint dès lors un lieu de pèlerinage, puis un ermitage. 

Après le Traité des Pyrénées (1659), qui cède la Roussillon à la France, et pour éviter que le château ne fasse l'objet d'une nouvelle conquête espagnole, Jeanne de Béarn et de Vilaplana fit détruire en 1675 le château, et la chapelle.

Peu de temps après son frère, François chanoine à Elne, fit bâtir l'ermitage de Notre-Dame du Château. Sa construction pris fin six années plus tard, en 1681. La majorité des éléments retirés de la chapelle détruite servirent à construire le nouvel édifice de Notre-Dame du Château. Le retable en bois du 18e siècle, ainsi que la Vierge qui se trouvent à l'ermitage sont tous deux classés aux Monuments Historiques depuis 1997.
Ravagée par un incendie en 2001, elle fut entièrement remise en l'état, et rouvrit au public en 2003.