El complejo ocupa alrededor de 40 hectáreas (400.000 m) y forma dos grandes cuadriláteros que encierra dos grandes patios: la "Cour Carrée" («Patio Cuadrado»), acabada con Napoleón I, y la más grande "Cour Napoléon" («Patio de Napoleón»), con la "Cour du Carrousel" («Patio del Carrusel»), al oeste, construido por Napoleón III.