Se planteó la construcción de un edificio que armonizara con el conjunto que forman los edificios de la Real Casa de la Aduana, obra de Sabatini, y la Real Academia de Bellas Artes de San Fernando.