På 1900-tallet gikk imidlertid byen inn i en ny nedgangsperiode. Selv om Castres kom uskadd ut av de to verdenskrigene, ettersom ingen militæroperasjoner eller kamper fant sted i Sørvest-Frankrike, så ble den lokale økonomien hardt rammet av endringer. I likhet med mange andre av byene i Europa som hadde fått de største gevinstene av den industrielle revolusjon, gjennomgår også Castres en vanskelig omstrukturering av sin industrielle base. Tekstilindustrien har blitt spesielt hardt rammet. Castres er også hemmet av sin geografiske beliggenhet, isolert i en blindvei ved foten av Massif Central, langt unna de viktigste handels- og transportrutene. Castres er ennå ikke knyttet til det franske motorvei-nettverket, og er den største byen i Frankrike uten slik forbindelse. Opprettelsen av Fellesskapsrådet for byområdet Castres-Mazamet i 2000 var ventet å håndtere transportproblemet, og å arbeide for å tiltrekke seg nye industrier. Castres er imidlertid heldig i og med at byen ligger bare 79 kilometer unna den svært så dynamiske Toulouse. Den lenge lovede motorveiforbindelsen til Toulouse er ventet ferdig snart, og Castres håper å kunne dra fordel av sin nærhet til den oksitanske storbyen.