Los castillos vivieron en primera línea los acontecimientos de la cruzada contra los albigenses. Efectivamente, los señores de Cabaret mantuvieron fuertes vínculos con los adeptos al catarismo. Los pueblos que rodean a los castillos acogieron numerosos cátaros. En esta época, la fortaleza pertenecía a Pedro Roger de Cabaret fiel de Ramón Roger Trencavel, junto al que combatió durante el sitio de Carcasona. El lugar sufre a partir de 1209 los asaltos de Simón de Montfort, aunque resiste con éxito dichos envites. Sin embargo, el cruzado Bouchard de Marly, entonces señor del castillo de Saissac, es capturado por Pedro Roger. Se negocia su liberación contra la rendición de Cabaret en 1211.