À quelques centaines de mètres du Fort de Bellegarde, le col de Panissars est situé à cheval sur la frontière entre les deux Catalogne, entre Le Perthus et La Jonquera, marquant l'extrémité occidentale du massif des Albères.
En 71 av. J-C, le col était connu sous le nom de Summum Pyrenaeum et était le point de jonction de deux voies romaines : la Via Augusta qui traversait la péninsule ibérique et la Via Domitia qui reliait les Pyrénées aux Alpes.

À 325 m d'altitude, les vestiges du Trophée de Pompée "Tropaeum de Pompée" seront retrouvés en 1983 lors d'un premier sondage du site, à la suite de la découverte de blocs romains en remploi dans les murs de l'église Sainte-Marie. Le site du Trophée de Pompée a été découvert et fouillé par Georges Castellvi de 1985 à 1993. Il est le premier exemple de ce type de construction monumentale célébrant la suprématie de Rome sur le monde méditerranéen et européen.

À 325 m d'altitude, les vestiges du Trophée de Pompée "Tropaeum de Pompée" seront retrouvés en 1983 lors d'un premier sondage du site, à la suite de la découverte de blocs romains en remploi dans les murs de l'église Sainte-Marie. Le site du Trophée de Pompée a été découvert et fouillé par Georges Castellvi de 1985 à 1993. Il est le premier exemple de ce type de construction monumentale célébrant la suprématie de Rome sur le monde méditerranéen et européen.

La construction sur ce site d'un prieuré bénédictin dédié à Sainte-Marie ~ Santa Maria, au 11e siècle, sur la route de  « Saint-Jacques de Compostelle » fit disparaître presque complètement ce qu'il restait du trophée.
Les besoins en matériaux de construction pour le fort de Bellegarde à 400 m à l'est par Vauban achevèrent de faire disparaître les traces du trophée et du prieuré.

En 1285, les troupes du roi de France Philippe le Hardi subirent au col de Panissars, une sévère défaite face à celles du roi Pierre le Grand d'Aragon. Philippe le Hardi mourut quatre jours plus tard à Perpignan. Cette bataille mit un terme à la croisade d'Aragon qui opposait les deux royaumes.
En contrebas du col, près de la pyramide frontière n° 568 qui sépare les deux pays, on découvre la redoute de Panissars construite en 1678, ainsi qu'un ancien cimetière militaire datant du 17e siècle.

L'ensemble du site (les vestiges du tronçon de la voie domitienne, les vestiges du trophée de Pompée et de l'ancien prieuré Sainte-Marie) est classé monument historique par la France depuis 2010, et est propriété de la commune du Perthus.

Le tiers du site se trouvant en Catalogne Sud bénéficie d'une protection comme bien culturel d'intérêt local (Bé Cultural d'Interès Local).

A découvrir à proximité le Fort de Bellegarde.