Los emperadores Paleólogo lo abandonaron en gran parte, gobernando desde Blanquerna, de modo que, cuando Mehmet II entró en la ciudad en 1453 durante la Caída de Constantinopla, descubrió en ruinas y abandonado el complejo palacial.