Junto a él existía el llamado "Cuarto Real", luego ampliado como Palacio del Buen Retiro en tiempos de Felipe IV.