After Madrid fell to King Alfonso VI of Castile in 1083, the edifice was only rarely used by the kings of Castile.
Setelah jatuhnya kota Madrid ke tangan Alfonso VI dari Kastilia pada tahun 1083, bangunan ini jarang digunakan oleh raja-raja Kastilia.