Seine Söhne Jeremiah und Austin Rivers sind ebenfalls Basketballspieler. Austin wurde als 10. Pick in der NBA-Draft 2012 von den New Orleans Hornets ausgewählt. Zwischen Anfang 2015 und Mitte 2018 waren Vater und Sohn gemeinsam bei den Clippers beschäftigt. Seine Tochter Callie, eine ehemalige Volleyballspielerin, ist seit Herbst 2019 mit dem NBA-Spieler Seth Curry verheiratet. Das Paar bekam 2018 einen Sohn.