Castres está situada cerca de los Montes de Sidobre (yacimiento granítico excepcional) y de la Montaña Negra, a una altura de 172 msnm, a 42 km al sudeste de Albi (prefectura del Tarn), a 15 km de Mazamet y a 77 km al este de Toulouse.