Риверс был старшим сыном Генри Фредерика Риверса (1830—1911) и Элизабет Хант (1834—1897). Его братом был Чарльз Хэй (1865—1939), сестрами Этель Мэриан (1867—1943) и Кэтрин Элизабет (1871—1939). Семья происходила из британского высшего среднего класса, который дал многочисленных выпускников Кембриджа и членов британского флота. Самыми известными из них были гардемарины Уильямс Риверс и его отец Ганнер Риверс, служившие на HMS Victory— флагманском корабле адмирала Нельсона во время Трафальгарского сражения 21 октября 1805 года.