Uma série de barões normandos incluindo Raul de Gacé não aceitaria um filho ilegítimo como seu líder. Em 1040 foi feita uma tentativa para matar Guilherme, mas o plano falhou. Gilberto, porém, foi assassinado enquanto ele estava andando pacificamente perto Eschafour. Acredita-se que dois de seus assassinos eram Raul de Wacy e Robert de Vitot. Esta parece ter sido um ato de vingança pelas injustiças infligidas aos órfãos de Giroie por Gilberto, e não está claro o que Raul de Gacé tinha que fazer no negócio. Temendo que possam cumprir o destino de seu pai, seu filho Ricardo e seu irmão Balduíno foram transmitidos por seus amigos à corte de Balduíno V da Flandres. Seus filhos iriam acompanhar o duque Guilherme em sua conquista da Inglaterra e seus descendentes se tornariam uma das mais poderosas famílias nobres nas ilhas britânicas. Eles iriam governar vastas terras na atual Irlanda, Escócia e Inglaterra e se tornar poderosos nobres que agiam de forma independente da coroa.