Союз скреплён был помолвкой Филиппа и дочери Карла, но вскоре после свадьбы сына в 1273 году Балдуин умер, и тот унаследовал его претензии на Константинополь. Однако обещание Карла Анжуйского выполнено так и не было. Филипп, в изгнании проживая в основном в Неаполе, номинально носил вплоть до 1283 года титул императора Латинской империи и владел землями крестоносцев в Греции, хотя и там власть его оспаривалась собственным тестем. В 1281 году Карл вместе с Филиппом заключил при посредничестве римской курии договор с Венецией об организации нового похода на Константинополь, который также оказался неосуществлённым из-за Сицилийской вечерни, поддержанной Педро III Арагонским.