Le château féodal de Gesse fut construit au VIIe siècle par les rois wisigoths sur une proéminence surplombant la gorge étroite précédant l'entrée de la courte vallée de Gesse. Il protégeait l'accès au cours supérieur de l'Aude, au château d'Usson et au Donezan. Il commandait le col de Gesse (col du Castel), autrefois seul passage praticable conduisant des bords de l'Aude sur les hauts plateaux du Pays de Sault. Ce château devint vers 845 une possession des comtes du Razès. Durant l'épopée Cathare des XII et XIIIe siècles, il dépendait de la baronnie de Niort. Lors de la croisade contre les Albigeois, le château de Gesse eut la même destinée que les châteaux d'Aniort et de Castelpor : il tomba au pouvoir des lieutenants de Simon de Montfort. Devenu par la suite forteresse royale gardée par une petite garnison, il est présumé que celle-ci fut détruite par les armées espagnoles qui ravagèrent le pays de Sault en 1496. Aujourd'hui, seuls quelques pans de murs, les restes d'une tour, les ruines de la chapelle castrale, quelques marches taillées dans le roc sont les derniers vestiges.