Robert giftet seg med Petronilla, datter av William de Grandmesnil. Sammen fikk de fem barn: Robert, 4. jarl av Leicester Roger, Biskop av St. Andrews William Amicia, gift med Simon de Montfort. Deres sønn Simon ble jarl av Leicester. Margaret, gift med Saer de Quincy, senere 1. jarl av Winchester.