I 1831 var innbyggertallet i Castres på 12 032, og den var da den største byen i departementet Tarn. Ettersom byen var en av de få industribyene i regionen vokste innbyggertallet i kommunen til i 1901 og i 1954 ( innbyggere i hele byområdet). Men etter hvert som industrien i byen gikk tilbake, ble også økningen i folketallet redusert. Albi gikk forbi Castres som det mest folkerike området i Tarn. Etter en liten tilvekst på 1970- og 1980-tallet har innbyggertallet nå stagnert, med ingen vekst i det hele tatt på 1990-tallet.