Felipe de Montmorency nació entre 1518 y 1526, posiblemente en el castillo de Ooidonk, hijo de Joseph de Montmorency, conde de Nevele, y Jeanne de Egmont.