Robert var ved hoffet i Normandie i 1113 og en gang rundt 1114 giftet han seg med Mabel, den eldste datteren og arvingen til Robert Fitzhamon som brakte ham de betydelige eiendommene av Gloucester i England, Glamorgan i Wales og Sainte-Scholasse-sur-Sarthe og Évrecy i Normandie, foruten også Creully. I 1121 eller 1122 gjorde kong Henrik ham til jarl av Gloucester.