Navnet på byen kommer fra det latinske og betyr «befestet plass». Castres vokste opp rundt benediktinerklosteret Saint Benoît, som antas å ha blitt grunnlagt i 647, muligens på stedet til et gammelt romersk fort (). Castres ble et viktig stopp på den internasjonale pilegrimsveien til Santiago de Compostela i Spania ettersom det i klosterkirken, som ble bygget på 800-tallet, ble oppbevart relikvier av Sankt Vincent, Spanias berømte martyr. Det var et sted av en viss betydning så tidlig som på 1100-tallet. Til tross for nedgangstider for klosteret, som i 1074 ble underlagt Sankt Viktor-klosteret i Marseille, ble Castres tildelt et liberalt charter på 1100-tallet av den kjente Trencavel-familien, vicomter av Albi. Som en følge av charteret ble Castres styrt av et kollegium av konsuler.