Brees ble en free agent etter 2004-sesongen, og det var ikke forventet at han skulle returnere til San Diego som allerede hadde investert store penger i Rivers. Laget gav Brees eventuelt en franchise tag, med en 1-årig kontrakt som firedoblet lønnen hans til $8 millioner for -sesongen. Ifølge kontrakten kunne Brees byttes til eller signeres med et annet lag, men Chargers skulle da få to fremtidige draft picks i første runde i retur. Han ble ikke byttet og fortsatte som lagets startende quarterback for 2005-sesongen.