Název města je odvozován od latinského výrazu castrum. Roku 647 zde vzniklo benediktinské opatství, které bylo zastávkou poutníků na Svatojakubské cestě. Součástí Francie se Castres stalo roku 1229 v důsledku albigenské křížové výpravy. V letech 1317–1790 zde sídlili biskupové. V šestnáctém století patřilo město k baštám hugenotů.