Fue capturado por fuerzas angevinas mandas por el líder mercenario Mercadier y el Príncipe Juan en Normandía, en 1197.Ricardo se negó a liberarlo en 1198 y en 199. Cuando Pedro de Capua (que estaba tratando de que Ricardo participara en la Cuarta Cruzada), insistió en la liberación de Felipe, Ricardo amenazó con castrarlo, tal era su odio hacia Felipe. El Papa Celestino III defendía a Felipe, confinado en Rouen y luego, tras un intento de fuga, en Chinon. Fue puesto en libertad sólo después de la muerte de Ricardo en 1199, después de que el sucesor de Ricardo, Juan, lo intercambiara por el obispo electo de Cambrai en 1200.