Castres ligger 172 meter over havet, 45 km sør-sørøst for Albi, som er (administrativt senter) i departementet Tarn, og 79 km øst for Toulouse, hovedstad i regionen Midi-Pyrénées.