Cette famille prend son nom d'un fief situé dans l'élection d'Arques (maintenant Saint-Ouen-sous-Bailly, près d'Envermeu dans la Seine-Maritime). On trouve la trace d'un Gilbert de Saint-Ouen en 1103. Une branche de cette maison aurait suivi Guillaume de Normandie à la conquête de l'Angleterre en 1066 et s'y serait fixée.