La construcción de su primer edificio, diseñado por el arquitecto Juan de Villanueva, comenzó en 1790 en el actual Parque del Retiro, entonces una colina en las afueras de Madrid.