Entre 1745 y 1774 tuvo allí su sede la Real Academia de Bellas Artes de San Fernando, y de 1774 a 1871 la Real Academia de la Historia.