En 1240 Olivier lo vuelve a ocupar, coincidiendo con la ofensiva del vizconde Ramón Trencavel II para recuperar Carcasona, y continuó ofreciendo resistencia contra los cruzados hasta que, en el año 1246, Olivier fue vencido y enviado a las cruzadas en oriente por orden del rey francés Luis IX.