Durante 1034, durante uma grande fome por quase todo o Ocidente, decidiu partir em peregrinação a Jerusalém deixando nomeado como sucessor o seu único filho varão, o considerado ilegitimo Guilherme, o Bastardo, sob tutela de Alano III da Bretanha. Partiu em fevereiro de 1035 tendo morrido no caminho de regresso em Niceia, no dia 3 de julho de 1035. A sua morte precoce lançou o ducado numa onda de problemas e numa anarquia em larga escala levada pela disputa da herança do ducado. Estes problemas só foram resolvidos anos mais tarde com a Batalha de Val-ès-Dunes.