Philip entstammte der normannischen Familie Braose. Er war der älteste Sohn von William de Braose, der ein Gefolgsmann Wilhelm des Eroberers war und in der Schlacht von Hastings gekämpft hatte. Als Belohnung für seine Verdienste bei der normannischen Invasion Englands hatte sein Vater Ländereien in Sussex erhalten und in Sussex die Erdhügelburg Bramber Castle errichtet (siehe auch Rape (Sussex)). Auf dieser Burg wurde Philip um 1070 geboren. Seine Mutter, "Agnes de St. Clare", starb, als Philip zehn Jahre alt war.