Le château de Pujols, plus communément appelé "Tour de Pujol" ou "Tour Carrée", est un vestige du château médiéval dont elle constituait le donjon. Il est situé à 1,5 km au nord-est du centre-ville d'Argelès-sur-Mer et à 3 km au sud-est de Taxo d'Avall. 
Le terme « Pujol » signifiant « colline » fait référence à une modeste colline sur lequel il fut construit au milieu de marais.

La première mention connue de "Tour de Pujol" date de 1074, sous la forme de "Pugols". Le lieu et ses alentours ayant laissé apparaître quelques vestiges de l'époque romaine, il est fort possible, sans aucune certitude cependant, que sa construction puisse être beaucoup plus ancienne.

Au 9e siècle, les comtés d'Empúries et du Rosselló sont unis. À la mort du comte Gausfred Ier, ses deux fils se partagent les domaines. À Hugues revient Empúries et à Guislabert le Rosselló, conservant cependant chacun des droits sur le comté de l'autre. 
Au cours du 10e siècle, le château de Pujols sera l'objet d'une succession de conflits suite aux difficiles relations entre héritiers et descendants qui se poursuivront tout au long du 11e siècle.
À la fin du 11e siècle, le château de Pujols est aux mains des comtes de Roussillon et des vicomtes de Tatzô, proches voisins de Pujols.
Certains écrits laissent à penser que Gausfred III de Roussillon aurait fait don du château de Pujols à l'abbaye cistercienne Sainte-Marie de Fontfroide (Aude).

Les moines transformeront l'édifice en une importante grange, afin d'y stocker les récoltes de leurs nombreuses terres.
L'abbaye de Fontfroide en restera propriétaire jusqu'au 8 juillet 1546, date où le prieur Antoine de Roque et les moines du monastère de Sainte-Marie de Fontfroide vendent à Antoni d'Oms, gouverneur du château de Collioure, la grange de Pujols avec sa maison forte, ses prés, ses bois.

À l'époque, le château possédait une enceinte rectangulaire dont les murs faisaient 8 à 10 m de haut. Elle était entourée sur trois de ses côtés par un fossé, le quatrième était protégé par un marais.

Le donjon de 15 m de hauteur se dressait au centre de l'enceinte et comportait au rez-de-chaussée une grande salle voûtée en berceau lisse, au premier étage une salle couverte d'un plafond de bois disparu aujourd'hui  ainsi qu'une autre salle au deuxième étage. 

L'entrée de la tour se situait au niveau du premier étage marquée par un seuil en marbre blanc. Un escalier en pierre communiquait avec une passerelle intermédiaire en bois qui pouvait être enlevée ou détruite en cas d'attaque. 

Deux grandes niches en plein-cintre pratiquées dans les murs sud et nord servaient d'armoires murales. 
Sur la face nord du donjon, près de l'angle ouest, était dès l'origine, greffée une tourelle demi-ronde, enfermant un escalier à vis aujourd'hui détruit, qui donnait accès aux salles du premier et second étage et paraît avoir communiqué par une courtine détruite avec des bâtiments d'habitation dont les ruines sont encore visibles.