El lugar que ocupa el edificio ha tenido distintos usos desde la Edad Antigua, conservándose aún unas termas galo-romanas del siglo I (también es conocido con el nombre de termas de Cluny).