Etter high school gikk Rivers på North Carolina State University i Raleigh i Nord-Carolina, hvor han spilte for hovedtrener Chuck Amatos NC State Wolfpack. Rivers registrerte seg ved universitetet i januar og deltok i sin første trening som quarterback i college våren 2000.