Die Freiheit des Sohnes ist zeitgleich mit dem Verlust des Kaiserthrones von Konstantinopel einhergegangen. Denn am 25. Juli 1261 sind die Truppen des Griechenkaisers von Nicäa nahezu kampflos in der Hauptstadt des römischen Ostreiches eingezogen und haben dem lateinischen Kaisertum damit ein Ende gesetzt. Kaiser Balduin II. hatte verwundet mit einem Schiff der Gefangennahme entfliehen können. Fortan fristete die kaiserliche Familie ein Exil, zuerst in Frankreich und später in Süditalien, nachdem dort Karl von Anjou die Herrschaft übernommen und 1267 mit dem Haus Courtenay eine politisch-dynastische Allianz geschlossen hatte.