Brees' fremtid med Chargers var usikker etter at San Diego plukket opp NC States Philip Rivers etter NFLs draft i 2004. Han presterte bra gjennom treningsleiren og sesongoppkjøringen, og hadde i stor grad garantert stillingen sin som starter før sesongstart, mens Rivers var hans reserve.