Rivers var en av 17 quarterbacks som ble plukket opp i NFLs draft i 2004, sammen med Ben Roethlisberger og Eli Manning. Både Roethlisberger og Manning har vunnet flere Super Bowls. Quarterbackene som ble draftet i 2004 har blitt sammenlignet med quarterbackene som ble draftet i 1983, som inkluderte Hall of Famerne John Elway (første pick), Jim Kelly (#14) og Dan Marino (#27).