Yolande 17 Aralık 1219 tarihinde ölünce Geoffroy de Merry, Narjot de Toucy ve Théodore Branas'dan oluşan bir naipler koleji fiilen idareyi ele aldı. 1220 yılında Yolande'nin oğlu Robert'a imparator olarak tac giydirildi. Robert'ın hükümdarlık yıllarında en önemli olaylar İznik'te kurulmuş olan İznik İmparatorluğu ile ilişkilerin önce iyileşmesi; fakat sonradan 1224de İznik İmparatoru III. İoannis ile yapılan Poimanenon Muharebesi'nde Latinler tarafından kaybedilmesi ve İznik İmparatorluğunun güçlenip Latin İmparatorluğu'nu tehdit etmesidir. Zaten halk tarafından hiç beğenilmeyen Latinler bu savaştan sonra Anadolu topraklarından atıldılar.