Brees foreldre hadde begge bakgrunn i idrett. Faren spilte basketball for Texas A&M Aggies' basketballag, og moren var en tidligere All-State i tre idretter i high school. Onkelen på morens side, Marty Akins, var en All-American startende quarterback for Texas Longhrons' college footballag fra 1972 til 1975, og hans morfar, Ray Akins, hadde tredje flest seiere som en hovedtrener ved en high school i Texas i løpet av sine tre tiår ved Gregory-Portland High School. Lillebroren Reid var outfielder for Baylor Bears' baseballag, som nådde College World Series i 2005, og bor nå i Colorado.