I august 2004 signerte Rivers en 6-årig kontrakt verdt $40,5 millioner med San Diego Chargers som inkluderte en signeringsbonus på $14,5 millioner. Ettersom at kontraktforlengelsen tok lang tid deltok ikke Rivers i treningsleiren før i siste uke, og Drew Brees fikk beholde stillingen som kampstarter. Rivers begynte sesongen som tredje quarterback, bak Doug Flutie og Brees, og foran fjerde quarterback Cleo Lemon. Uheldigvis for Rivers hadde Brees sin beste sesong så langt i karrieren og ble utvalgt til Pro Bowl og utpekt til NFL Comeback Player of the Year Award. Rivers fikk begrenset spilletid og tok kun banen i to kamper. Han fikk kastet sine første pasninger i andre halvdel av sesongavslutningen mot Kansas City Chiefs, da Chargers allerede hadde sikret en plass i sluttspillet med divisjonstittelen for AFC West. I kampen, som endte i seier for Chargers, kastet han sin første touchdownpasning til nykommeren Malcolm Floyd. Han var ikke på den aktive spillerstallen for San Diegos nederlag mot New York Jets i divisjonsrunden.