Han gikk på Junípero Serra High School i San Mateo, hvor han ble uteksaminert i 1995; seremonien ble avholdt i St. Mary's Cathedral. Her spilte han amerikansk fotball, basketball og baseball. Han spilte mot rivalen Pat Burrell fra Bellarmine College Preparatory i både football og baseball. Brady begynte sin footballkarriere som reservequarterback på Paders' juniorlag. Brady var til å begynne med ikke god nok til å starte for laget, som lå 0–8, og ikke hadde scoret en touchdown hele året. Brady ble flyttet til starter etter at lagets startende quarterback ble skadet. I sitt andre år fikk han stillingen offisielt, og holdt den frem til han ble uteksaminert. Innen Brady var en senior jobbet Brady hardt for å bli oppdaget av trenere ved collegelag. Han lagte egne klippsamlinger med sine høydepunkt og sendte dem til de universitetene han hadde lyst til å gå på. Dette ledet til at flere forskjellige collegelag over hele landet ble interessert i ham.