I 1980-årene var Brady ofte blant tilskuerne under San Francisco 49ers' kamper i Candlestick Park, hvor han var en tilhenger av quarterbacken Joe Montana; Brady har nevnt Montana som sitt idol og en av hans største inspirasjoner. Da han var fire år gammel var han tilstede under NFC Championship 1981, mot Dallas Cowboys, hvor Montana kastet The Catch til Dwight Clark. Som barn deltok Brady i en treningsleir ved College of San Mateo, hvor han lærte å kaste ball fra fremtidig quarterback i NFL og Arena Football League Tony Graziani. Under sin oppvekst var Brady tilhenger av Los Angeles Lakers og Boston Celtics.