Els castells van viure en primera línia els esdeveniments de la croada contra els albigesos. Efectivament, els senyors de Cabaret van mantenir forts vincles amb els adeptes al catarisme. Els pobles que envolten als castells van acollir nombrosos càtars. En aquesta època, la fortalesa pertanyia a Pere Roger de Cabaret fidel de Ramon Roger Trencavel, al costat del que va combatre durant el setge de Carcassona. El lloc va patir a partir de l'any 1209 els assalts de Simó de Montfort, encara que resisteix amb èxit aquests envits. No obstant això, el croat Bouchard de Marly, llavors senyor del castell de Saissac, és capturat per Pere Roger. Es negocia el seu alliberament contra la rendició de Cabaret l'any 1211.