Robert ble gift med Matilda, datter av Roger de Montgomerie, 1. jarl av Shrewsbury, og med henne fikk han en sønn, den før nevnte William, og tre døtre; Agnes som ble gift med André de Vitry, Denise, gift i 1078 med Guy, 3. sire de La Val; og Emma av Mortain, gift med Guillaume IV, grev av Toulouse.