Reconstruit après la guerre de Cent Ans et modifié aux , il a été édifié durant la Croisade des Albigeois avant de devenir la base d'opération de compagnies de routiers pendant la guerre de Cent Ans. Plusieurs familles grandiront successivement entre ses murs : les Tustal, les Lalande, les Albareil, les Peyronnenc, les Calvimont avant qu'il ne soit vendu comme bien national sous la Révolution française. Scindé, dépecé, transformé, il retrouvera à partir du milieu du , une famille, les Boudet, pour le sauver et le restaurer. À travers les péripéties de ses propriétaires et l'évolution de son architecture, il est le témoin de tous les événements de l'histoire de France, du Moyen Âge jusqu'à nos jours.