Hijo ilegítimo de Enrique I y hermanastro de Matilde, Roberto era uno de los barones anglonormando más poderosos, que controlaba propiedades en Normandía, así como el condado de Gloucester.