A principios del fue construido, junto al monasterio de San Jerónimo el Real, el Palacio del Buen Retiro, una finca y residencia real que cerraba la cara este del Prado de los Jerónimos.