Felipe era el hijo de Guido de Milly, un caballero, probablemente de Normandía, que participó en la Primera Cruzada, y su esposa Estefanía de Flandes.