Rivers kom fra en atletisk familie. Han, faren Steve og lillebroren Stephen spilte alle college football. Steve spilte linebacker ved Mississippi State på 70-tallet. Stephen spilte college football ved Louisiana State University (LSU) etter å ha gått på Austin High School og Athens High School. Den 5. juni 2014 byttet han til Vanderbilt University hvor han kunne spille, men endte opp med å bytte skolen igjen, til Northwestern State, før 2015-sesongen.