Apesar do fracasso do casamento, Roberto de Courtenay deu abrigo aos irmãos e acomodou os dois, de quem era parente — a irmã de Roberto, Maria, era esposa de Teodoro — em sua corte. Além disso, um dos irmãos já havia tido muito contato com a corte latina, tendo sido refém em Constantinopla por volta de 1220/1. Nada disso agradou os nicenos e a relação entre os dois estados se deteriorou a ponto de, em 1224, Aleixo e Isaac se virem à frente de um exército latino enviado para enfrentar João III. Na subsequente Batalha de Pemaneno, João conseguiu uma vitória decisiva: depois de um difícil combate, o exército latino foi destruído, os irmãos, capturados e Vatatzes conseguiu conquistar a maior parte das fortalezas latinas na porção noroeste da Ásia Menor. Depois da vitória, Aleixo e Isaac foram cegados.