La partie la plus ancienne du bâtiment, datée du , correspond à l'ancienne chapelle castrale. Du premier âge roman, elle est bâtie en petits moellons de pierre taillée au marteau à joints épais. Son chevet, semi circulaire et orienté vers l'est, est animé de quatre arcatures aveugles, encadrées de lésènes et surmontées d'un cordon constitué de dents d’engrenage. Il est agrémenté de trois baies en meurtrière à double ébrasement. Sa façade sud, qui donne sur le parvis, percée de deux baies à double ébrasement plus larges, date de cette époque et présente un appareil semblable au chevet. Une meurtrière y a été retrouvée lors de la restauration de l'édifice. La porte d'entrée en son centre date du , la porte d'origine avec son arc plein cintre, qui a été mise à jour à son extrémité sud-ouest, a depuis été recouverte de crépi.