Jarl Robert ble på sine eiendommer i England for resten av kong Stefans regime. Selv om han støttet kongen i kun navnet synes det som om det var lite kontakt mellom ham og kongen, og Stefan bekreftet ikke grunnleggelsen av klosteret Leicester Abbey før i 1153. Jarl Roberts hovedaktiviteter mellom 1141 og 1149 var hans private krig med Ranulf av Gernon, 2. jarl av Chester. Selv om detaljene er uklare synes det som om han førte en utholdenhetskrig med den andre som til slutt sikret ham kontroll over nordlige Leicestershire og den strategiske festningen Chester Castle i Mountsorrel.