Fue traspasado por los New York Giants en el Draft de la NFL del 2004, después de que Eli Manning (Manning fue la primera selección global) declarara que no firmaría con los Chargers de ser contratado por ellos e insistió en ser negociado con otro equipo después del draft, razón por la cual Rivers llegó a San Diego.