Robert var en av de mange sønnene til adelsmannen Tancred av Hauteville, som var fra Normandie.