Felipe nació en Villaines-en-Duesmois en 1389, como hijo de Felipe II el Audaz, duque de Borgoña y de Margarita de Dampierre, condesa de Flandes, de Borgoña, de Nevers y de Rethel. Era, por lo tanto, el hermano menor de Juan, duque de Borgoña (llamado "Juan sin Miedo") y de Antonio, duque de Brabante. Los tres lucharon en Agincourt.