Su primera esposa fue Phyllis Phil Rivers, de la que tuvo tres hijos, y en 1969 se casó con la también hispanista Georgina Sabat de Rivers, fallecida en 2008, con la que crio a cuatro hijos adoptivos.