Sempre, nel 1356, suo fratello, Carlo il Malvagio, per aver tentato di attirare in una congiura il figlio maggiore del re di Francia, Giovanni II il Buono, l'erede al trono di Francia, il delfino, Carlo il Saggio, il 5 aprile 1356, fu arrestato a Rouen e imprigionato in Normandia. Appena scarcerato Filippo fu tra coloro che si batterono per la liberazione del fratello e a settembre prese parte alla Battaglia di Poitiers, tra le truppe comandate da Edoardo il Principe Nero, il figlio del re d'Inghilterra, Edoardo III, nella quale l'esercito francese venne sconfitto e il re di Francia, Giovanni II, fu fatto prigioniero.