Die gebied was reeds in die Romeinse tye bewoon en die sogenaamde "Civitas Albiensium" was hier geleë. In 843 het "Karel die Kale" die stad in besit geneem. Die Kathare, wat Albigense of Albigensers genoem is, is na die stad vernoem. Die Kathaar-beweging was 'n sytak van die Christendom wat in die Middeleeue vervolg en uitgewis is. As gevolg hiervan is die stad byna heeltemal tussen 1209 en 1229 in 'n kruistog vernietig (sien Albigensiese Kruistog). Sedert 1678 is die stad die setel van 'n aartsbiskop. Dit is sedert 1790 die hoofstad van die département Tarn.