La mitad del este del edificio albergaba la Academia Real hasta 1868, la cual disminuyó el espacio otorgado a la Galería.