El museo se ubica en un sector antiguo de Castres, en el antiguo palacio episcopal, construido en 1675 con planos diseñados por Jules Hardouin-Mansart, uno de los arquitectos del Palacio de Versalles.