Детство Филиппа пришлось на годы острого кризиса Латинской империи крестоносцев, попавшей в сильную зависимость от Венецианской республики. Его испытывавший финансовые затруднения и опасавшийся наступления мусульман и монголов отец вынужден был скитаться по дворам европейских монархов в поисках военной и денежной помощи, заложив, в конце концов, сына и наследника венецианским купцам, и лишь в 1259 году Филиппа выкупил французский король Людовик IX. В июле 1261 года Византийская империя восстановлена была никейским императором Михаилом VIII Палеологом, с помощью военной хитрости, внезапным ударом изгнавшим крестоносцев из её столицы.