Opprinnelig var samlingen plassert i én bygning, den lille eremitasjen. I 1787-92 tegnet arkitekt Giacomo Quarenghi en fløy som da ble reist langs vinterkanalen. Denne fløyen var en etterligning av loggiaen i Vatikanpalasset i Roma, som var tegnet av Donato Bramante og dekorert med fresker av Rafael.