Philip d’Aubigny entstammte einer Nebenlinie der Familie "d’Aubigny", die ursprünglich aus Saint-Aubin-d’Aubigné in der Bretagne stammte. Er war vermutlich ein jüngerer Sohn von "Elias d’Aubigny" (auch "d’Aubigné") und dessen Frau "Hawise". Sein Vater hatte von dem mit ihm verwandten "William d’Aubigné", dem Lord von Belvoir Castle, Besitzungen in Lincolnshire erhalten, dazu besaß er Güter in der Bretagne und in der Normandie. Offenbar hatte zunächst Philips älterer Bruder "Ralph d’Aubigny" die Besitzungen ihres Vaters in geerbt, während Philip mit seinen Brüdern "Oliver" und "Marchisius" in den Dienst von Robert de Beaumont, 4. Earl of Leicester trat. Earl Robert vermittelte wohl Philips Heirat mit "Joan", der Witwe des Barons "William de Bouquetot", die 1200 erfolgte. Durch die Heirat erwarb Philip Besitzungen bei dem Dorf Bouquetot in der Normandie, die er als Lehen der Abtei Saint-Wandrille hielt, sowie Horsmonden in Kent als Lehen der Earls of Gloucester. Nachdem jedoch König Johann Ohneland die Normandie im Krieg mit Frankreich verloren hatte, entschied sich Philips Bruder Ralph, die französische Herrschaft anzuerkennen, um die Herrschaft über seine Besitzungen in Frankreich zu behalten. Deshalb erklärte Johann Ohneland seine englischen Besitzungen 1205 für verwirkt und vergab sie an Philip.