Nachdem König Johann Ohneland 1204 die Normandie im Krieg mit Frankreich verloren hatte, hatte sich Philips Bruder Ralph entschieden, die französische Herrschaft anzuerkennen, um seine dortigen Besitzungen behalten zu dürfen. Deshalb erklärte Johann Ohneland seine englischen Besitzungen 1205 für verfallen und vergab sie an Ralphs Bruder Philip. Trotz des Verlustes der Besitzungen in der Normandie behielt Philip die Güter in der Bretagne, und 1225 erhielt er von der Krone das Gut von South Petherton in Somerset. Dieses wurde neben Ingleby Hauptsitz der Familie. Philip d’Aubigny starb 1236 ohne eheliche Nachkommen, worauf sein Neffe "Ralph Daubeneny" die Besitzungen erbte. Obwohl dessen Sohn Elis Daubeney in der Bretagne geboren wurde, festigte er die Stellung der Familie in England. Als bedeutender Militär wurde er als "Lord Daubeney" zu den Parlamenten geladen, starb jedoch bereits 1305.