Während des Albigenserkreuzzugs (1209–1229) muss Guilhabert de Castres geflüchtet sein. Jedenfalls entkam er im Jahre 1220 mit Hilfe Bernard-Othon de Niorts aus der belagerten Stadt Castelnaudary. Im Jahr 1226 begründete er ein neues Bistum in Pieusse – das Bistum Razès; im Jahr darauf taucht er in Mirepoix auf. In den Jahren 1229 bis 1232 suchte er Zuflucht bei Jourdain Hunaud de Lanta in der Burg von Bézu (bzw. Burg Albedun). 1232 verhandelte er mit Raymond de Péreille, dem Herrn von Montségur, 'ob in jener Burg ab sofort die katharische Kirche bzw. Gemeinde ihren Wohn- und Hauptsitz haben könne und die Prediger ein- und ausgehen können' ("... ad hoc ut in ipso castro posset ecclesia hereticorum habere domicilium et caput et inde possent transmittere et diffundere predicatores suos"). Ob Guilhabert de Castres die Belagerung und den Fall der Burg Montségur (1243/4) noch erlebte, ist unklar.