De joven Rivers trabajó como aguador en el Instituto de Athens en Alabama, donde su padre Steve era el entrenador en jefe del equipo de fútbol americano.