Secondo un cronacotecario medioevale Robert finì per raggiungere la Normandia dove si recò da Guglielmo II di Normandia per dirgli che Edoardo si augurava che egli potesse divenire il suo erede. L'effettivo momento in cui Robert compì questo viaggio e ancora di più se questo abbia effettivamente avuto luogo è stato per anni oggetto di dibattiti, quel che è certo è che egli morì a Jumièges fra il 1052 e il 1055. Lì Robert commissionò importanti lavori edilizi e fu probabilmente coinvolto in una delle prime costruzioni ad architettura romanica realizzate in Inghilterra, l'Abbazia di Westminster iniziata nel 1045.