Det brøt ut borgerkrig i England i september 1139 og den førte Robert i konflikt med Robert, 1. jarl av Gloucester, en sønn utenfor ekteskap til Henrik I og den som i første rekke støttet keiserinne Maud av England (Matilda). Hans havn i Wareham og eiendommer i Dorset ble erobret av Gloucester i det første hærtoktet i borgerkrigen. I dette felttoget belønnet kongen Robert med by og festningen i Hereford for å etablere jarlen som hans løytnant i Herefordshire som da gjorde opprør.