Muy próximo al museo, Villanueva construyó el observatorio astronómico de El Retiro y el Jardín Botánico, todo ello en el conjunto del eje del Paseo del Prado, con sus emblemáticas fuentes de Neptuno y Cibeles (diseñadas por Ventura Rodríguez) y cerrado por el Hospital y Real Colegio de Cirugía de San Carlos.