I august 2004 skrev Philip Rivers under på en 6-årig kontrakt verd $40,5 millioner med en bonus på $14,5 millioner da han skrev under. Kontraktforhandlingene tok lang tid, så Rivers deltok bare under den siste uken av treningsleiren og Drew Brees fikk beholdt sin plass som startende quarterback. Brees startet i 15 av kampene i og ledet laget til 12 seiere og 4 nederlag, med en pasningssuksess på 65,5% for 3 159 yards og 27 touchdowns med bare 7 interceptions, som gav ham en passer rating på 104,8. Chargers vant AFC West og Brees ble utvalgt til Pro Bowl 2004. Han fikk tittelen NFL Comeback Player of the Year i 2004.