Des différents corps de bâtiments qui ont été bâtis, il semble que le plus ancien soit la tour maîtresse carrée romane du . Celle-ci aurait été élevée par un descendant de Bernard de Beaufort, son fils ou petit-fils, au . Elle mesure de côté pour une hauteur de . Elle est divisée en trois niveaux. Les étages sont desservis par une échelle de meunier aménagé dans l'épaisseur des murs. Elle s'éclaire, sur sa face est, par une fenêtre haute de .