I 1670 ble imidlertid flyttet til Castelnaudary, til stor misnøye endog fra de katolske borgerne i Castres, som mistet en stor kilde til forretninger og inntekter da advokater og saksøkere forsvant. Like etter kom tilbakekallingen av ediktet i Nantes, og Castres ble sterkt rammet da et stort antall protestanter valge å gå i eksil. Så kom pestepidemien i 1720-1721 og brannen i 1724. Og til sist, men ikke minst mistet Castres sitt liberale charter i 1758. På 1760-tallet, noe få år etter den berømte Calas-affæren i Toulouse, havnet Castres i søkelyset over hele landet: Pierre-Paul Sirven og hans kone, begge protestanter, ble feilaktig anklaget for å ha drept sin datter for å hindre henne i å konvertere til katolisismen. De ble stilt for retten og dømt til døden 29. mars 1764. De ble forsvart av Voltaire, og til slutt frikjent i 1771.