Dicho esquema fue ampliamente modificado, primero para adaptar al uso de pinacoteca un edificio que había sido concebido para Real Gabinete de Historia Natural (luego Museo Nacional de Ciencias Naturales) y Academia de Ciencias, y después en las sucesivas ampliaciones que se fueron realizando, y que afectaron sobre todo a la fachada que mira a la iglesia de los Jerónimos.