Роберт происходил из побочной ветви Нормандского герцогского дома, родоначальником которой был Жоффруа, граф де Брион и д’Э, незаконнорожденный сын герцога Нормандии Ричарда I. Его внуки, Ричард (родоначальник рода Клеров) и Болдуин, владевший в Нормандии сеньориями Ле-Сап и Мёле, принимали участие в нормандском завоевании Англии, после которого получили обширные владения в Англии. Болдуин получил владения, которые были сосредоточены вокруг Эксетера и , простираясь вдоль долины реки Торр к северному побережью Девона. Также он занимал должность .