Det ble antatt at Rivers kom til å bli plukket op tidlig i første runde av NFLs draft i 2004. Til tross for Rivers' suksess i college og imponerende treffsikkerhet (72% fullførte pasninger som senior) var flere general managers i NFL usikre på hans manglende armstyrke og uvanlige kastemåte. San Diego Chargers hadde lyst på Eli Manning og hadde planer om å plukke ham opp med sitt pick i første runde, som også var første pick sammenlagt. Etter at Manning nevnte at han ikke kom til å signere kontrakt med dem ble Rivers derimot Chargers' førstevalg, ettersom at lagets daværende hovedtrener Marty Schottenheimer hadde vært trener for ham under Senior Bowl og var imponert over det han så. Chargers gikk med på en byttehandel med New York Giants. Chargers valgte Manning med første pick, og byttet ham så til Giants mot Rivers, som Giants plukket opp som nummer fire, pluss draft picks Chargers brukte på Shawne Merriman og Nate Kaeding.