Området runt dagens Lautrec befolkades först av kelter och kom sedan under romerskt styre. Det går att se spår av en romersk väg intill stadsmuren. Enligt myten anlade Karl den store den första kyrkan i staden, Saint-Rémy. Staden Lautrec grundades runt år 940 av härskaren av Albi. Staden ligger på en bergstopp högt över slättlandet på vägen mellan Albi och Castres. Lautrec styrdes av en Vicomte och dominerades omväxlande av greven av Foix, Albi och franska kronan. Henri Toulouse-Lautrec är en ättling till de gamla Vicomterna av Lautrec. Staden var väl befäst med en fästning och en ringmur med åtta portar. På medeltiden uppgick befolkningen till 4500 invånare. Staden var en handelsplats med bland annat handel med vejde innan växtfärgen konkurrerades ut av indigo. Staden drabbades av flera krig, bland annat Albigenserkriget och hundraårskriget. Under hugenottkrigen var staden en katolsk stödjepunkt i striden med den större protestantiska grannstaden Castres.