Han var eldste sønn av Roger de Beaumont og Adeline av Meulan, datter av Waleran III, greve av Meulan. Henry de Beaumont, 1. jarl av Warwick var hans yngre bror. Robert kom til England sammen med Wilhelm Erobreren i 1066. Under slaget ved Hastings ledet han infanteriet på høyre flanke.