Le château est attesté dès le milieu du 11e siècle, en 1050 plus exactement. C'est sans doute à cette époque que les premières fortifications furent établies, de même que la chapelle romane Saint-Martin.

Celle-ci mentionnée dès 1075 servira d'église paroissiale au village de Canet à partir de 1163 jusqu'au 13e siècle où elle fut supplantée par la nouvelle église Saint-Jacques, plus spacieuse. 
Elle possédait à l'origine une nef unique charpentée et une abside voûtée en cul-de-four. Sa nef fut voûtée au 12e siècle. Aux 13e – 14e siècles, l'abside fut surélevée pour permettre l'établissement d'une tour. À la même époque, une chapelle fut greffée au nord de la nef.

L'enceinte du château en forme de trapèze irrégulier fut pourvue de puissantes fortifications  en galets édifiées au 11e siècle auxquelles s'ajoutèrent des murailles de briques au 14e siècle.  À la même époque fut réalisé un patio, entouré par des galeries à colonnes de pierre.

En 1688, un pou del gel (puits à glace) fut construit au nord de la chapelle. D'une hauteur de presque 9 m, ses parois enterrées furent réalisées en rangées alternées de galets et de briques. Par son état de conservation, il est l'un des plus beaux représentants de ses constructions moyenâgeuses.

Quelques années plutôt en 1642 lors de la guerre des faucheurs qui oppose la France à l'Espagne, Canet subira les bombardements français. De nombreuses maisons seront détruites, le château affaiblit et la ville fut finalement livrée à l'armée française.

Le château sera définitivement abandonné  après la Révolution française et servira ensuite de carrière de pierre pour les habitants du village.
Il est inscrit au titre des Monuments Historiques depuis 1984 et ses travaux de restauration sont toujours en cours.