Das Schloss wurde vermutlich am Ende des 18. Jahrhunderts errichtet. Die Heirat von Jeanne-Marie de Lalbenque, der letzten Nachfahrin ihrer Familie mit Antoine de Testas de Folmont übergab es in die Hände seiner Familie. Die Familie war bei der letzten Versammlung der Generalstände des Quercy im Jahre 1789. Antoine de Testas de Folmont war Oberst während des Aufstands der Vendée auf Seiten der Royalisten und wurde in Vannes von republikanischen Soldaten nach der verlorenen Schlacht um Quiberon exekutiert. Jeanne-Marie de Folmont blieb während der Revolution auf dem Schloss Albenquats, während ihre anderen Schlösser zerstört oder abgebrannt waren. Die Nachfahren haben das Anwesen auch heute noch in Besitz. Das massive, dreistöckige Gebäude besteht aus zwei versetzten Wohntrakten, die durch einen viereckigen Taubenschlag verbunden sind. Zahlreiche Überreste von Nebengebäuden, die mehr oder weniger verfallen sind, umsäumen das Anwesen.