Robert og broren Henry var med i det kongelige jaktselskapet i New Forest den 2. august 1100, da Vilhelm Rufus fikk sitt banesår under mystiske omstendigheter. Han sverget troskap til Wilhelm Rufus' bror, Henrik I, som utnevnte ham til jarl av Leicester i 1107. Etter Wilhelm Rufus' død tok Guillaume av Evreaux og Raoul II de Tosny med makt over en del av Roberts eiendommer i Normandie, under det påskudd at han hadde voldt dem skade gjennom sine råd til kongen.