Philip era hijo de William Fitz Odo de Barry, que a su vez era hijo de Odo o Otho, un caballero normando que estuvo presente en la conquista de Inglaterra en el siglo XI. William reconstruyó Manorbier Castle en piedra y la familia retuvo el señorío de Manorbier hasta el siglo XV. La madre de Philip era Angharad, hija de Gerald y Nest. Philip sucedió a su padre en Manorbier. Su tío (el medio hermano de su madre Angharad) era Robert Fitz-Stephen cuyos primos fueron los fundadores de las dinastías irlandesas de Fitzgerald y Carew. Philip tuvo dos hermanos, Robert y Gerald.