Museet er lagt til to eldre bygninger, Hôtel de Carnavalet og (fra 1989) Hôtel Le Pelletier de Saint-Fargeau. Mellom de to bygningene ligger lycée Victor-Hugo, og de er forbundet med et galleri i andre etasje.