Вильгельм происходил из боковой линии Нормандской династии, ведущей начало от незаконного сына Ричарда I, герцога Нормандии. Во владении этого рода находилось небольшое графство Э, расположенное в северо-восточной Нормандии, на границе с Пикардией. Отец Вильгельма, граф Роберт д'Э, принял участие в нормандском завоевании Англии в 1066 году, за что получил крупные земельные владения в южной и западной Англии, а сам Вильгельм стал позднее лордом Гастингса.