Um den Zustand des Zweifrontenkrieges zu beenden hatte Robert schon in seinem ersten Herrscherjahr einen Waffenstillstand mit seinem Schwager Theodoros I. Laskaris erreicht, indem er dessen Tochter Eudokia Laskarina zu heiraten versprach. Durch diese Entlastung im Osten konnten die Kräfte der Lateiner nun auf den Abwehrkampf gegen Theodoros I. Angelos konzentriert werden, der noch 1221 die strategisch bedeutende Festung von Serres erobert hat. Allerdings zerschlugen sich diese Pläne mit dem jähen Tod des Laskaris 1222, worauf in Nicäa dessen Schwiegersohn Johannes III. Vatatzes die Macht an sich gerissen hatte. Dieser wollte von einem Frieden mit den Lateinern nichts wissen, da diese die verdrängten Laskariden unterstützten. Die Situation mündete im Jahr 1224 im militärischen Zusammenbruch des lateinischen Reichs, als zuerst sein Heer in der Schlacht von Poimanenon von Vatatzes vernichtend geschlagen wurde und im Anschluss ein Rückeroberungsversuch von Serres kläglich scheiterte. In der Folge hatten die Lateiner die Herrschaft in Kleinasien an Nicäa verloren und die Eroberung von Thessaloniki durch Angelos hinzunehmen, womit die territoriale Integrität des lateinischen Reichs zerschlagen wurde. Zwar konnten sich noch die lateinischen Fürstentümer in Athen und auf der Peloponnes halten, doch waren diese für den Kaiser in Konstantinopel nun nur noch auf dem Seeweg zu erreichen und damit faktisch unabhängig geworden.