Cuando la ciudad fue vuelta a tomar por las fuerzas de Miguel VIII Paleólogo en 1261 tras la reconquista de Constantinopla, se encontraba en muy mal estado. Los emperadores Paleólogo lo abandonaron en gran parte, gobernando desde Blanquerna, de modo que, cuando Mehmet II entró en la ciudad en 1453 durante la Caída de Constantinopla, descubrió en ruinas y abandonado el complejo palacial. Al pasear por sus pasillos y pabellones vacíos, susurró una cita del poeta persa Ferdousí: