Ob die Familie ursprünglich aus der Normandie stammte, kann nicht endgültig geklärt werden. Vermutlich stammte sie aus Offranville bei Dieppe. Ungeklärt ist auch der genaue Zeitpunkt, wann sie ihre Besitzungen in Nordengland erwarben. Möglicherweise waren sie mit der Familie "Umfraville" verwandt, die um 1100 im walisischen Glamorgan Besitzungen erwarb, doch abgesehen vom Namen gibt es keine Verbindung zwischen den beiden Familien. Einer zu Beginn des 13. Jahrhunderts verfassten Familienlegende nach wurde "Robert with the Beard" als normannischer Eroberer "Lord of Prudhoe". Nach archäologischen Untersuchungen wurde Prudhoe Castle Ende des 11. Jahrhunderts errichtet, doch es gibt über diesen "Robert with the Beard" keine Belege. Nach anderen Angaben aus dem 13. Jahrhunderts ist die Existenz dieses Robert höchst zweifelhaft, denn wahrscheinlich wurden die Umfravilles erst während der Herrschaft von König Heinrich I. nach 1100 Herren von Prudhoe.