I 1098 ble Roberts bror drept i kamphandlinger i Wales mot den norske kongen Magnus Berrføtt, skutt av en pil som ifølge Snorre Sturlason like gjerne kunne ha kommet fra den norske kongen selv som en annen. Robert arvet da eiendommene i England, inkludert Rape av Arundel og jarledømmet Shrewsbury. I 1094 ble en av Roberts viktigste festninger, Domfront, overtatt av hertug Curthoses yngre bror Henrik, den senere Henrik I av England, og som aldri leverte det tilbake. Robert ble av den grunn en bitter fiende av Henrik for resten av hans liv.