Robert giftet seg med Agnes av Ponthieu, datter av Guy I av Ponthieu, greve av Ponthieu og Montreuil, som han fikk ett barn med, William III Talvas av Ponthieu, som via sin mor arvet fylket Ponthieu en gang før 1111. Drevet av farens skjebne gikk William i allianse med kong Henriks fiender, grev Geoffrey V, greve av Anjou, noe som førte til at Henrik tok hans festninger og landområder i Normandie.