La seva família paterna era originària d'Ieper. A part de ser senyor de Renescure, Watten i Saint-Venant, Clyte va esdevenir batlle de Flandes pel Duc de Borgonya el 1436, i va ser pres presoner en la Batalla d'Azincourt. Philippe va prendre el seu cognom del senyoriu Comines al marge del Leie que havia pertangut a la família de la seva àvia paterna, Jeanne de Waziers. El seu avi patern, també anomenat Colard van den Clyte (m. 1404), havia estat governador de Cassel i, després, de Lilla.