De to brødrene, Robert og Waleran, ble adoptert av den kongelige husholdningen kort tid etter deres fars død i juni 1118 (hvor Robert da arvet sin fars andre tittel som jarl av Leicester). Deres landområder på begge sider av Den engelske kanal ble styrt av en gruppe verger, ledet av deres stefar, William de Warenne, 1. jarl av Surrey. De fulgte kong Henrik I av England til Normandie for å møte pave Callistus II i 1119 og hvor kongen egget dem til å diskutere filosofi med kardinalene.