En el 1066, los antepasados de Hugo partieron de Normandía y llegaron a Saxon junto a Guillermo I el conquistador, para llegar a convertirse en los mayores terratenientes del norte de Inglaterra.