Con este fin, Carlos III contó con uno de sus arquitectos predilectos, Juan de Villanueva, autor también del vecino Real Jardín Botánico y del Real Observatorio Astronómico, con los que formaba un conjunto conocido como la "Colina de las Ciencias".