Justo enfrente del palacio estuvo situada la antigua iglesia de Santa María de la Almudena.