El dominio latino fue relativamente breve. El 25 de julio de 1261, Miguel VIII Paleólogo recuperó la ciudad. Sin embargo, el restaurado imperio se encontraba en una condición deplorable. Además de la pérdida de la fortuna de la capital, se perdieron otras importantes ciudades y puertos económicos a los venecianos. El Palacio de Blanquerna se convirtió en la nueva residencia de los emperadores, quienes pronto iniciaron medidas para reconstruir el Estado. Sin embargo, estos intentos fueron mermados con la aparición de la Peste Negra en 1347, que tuvo su primer gran epicentro en la ciudad. Al mismo tiempo, el imperio era atacado por dos frentes: los serbios en el Oeste y los turcos otomanos en el Este. Tras la Caída de Galípoli en 1354, los otomanos iniciaron una rápida expansión en el sur de los Balcanes, efectivamente aislando al imperio a los alrededores de Constantinopla.