Гуго родился около 1047 года. В 1066 году он был ещё достаточно молод и вряд ли участвовал в битве при Гастингсе. При этом ему вместе с Роже де Монтгомери (будущим графом Шрусбери) было поручено помогать жене Вильгельма управлять герцогством во время его отсутствия. В Англию же Гуго перебрался уже после её завоевания Вильгельмом, получив от короля ряд владений.