En el siglo , Felipe II amplía el llamado "Cuarto Real", unos aposentos destinados al alojamiento de los monarcas y que sería germen del futuro Palacio del Buen Retiro que crecería junto a San Jerónimo «el Real».