Earl Robert hadde en sønn utenfor ekteskap, Richard, biskop av Bayeux (1135–1142), med Isabel de Douvres, søster av Richard de Douvres, biskop av Bayeux (1107–1133).