Tom nasceu próximo a São Francisco, em San Mateo, na Califórnia, filho de Tom Sr. e Galynn. Seu pai vinha de uma família de irlandeses-americanos que fugiu da Irlanda durante a Grande fome de 1845–1849 e se estabeleceu na Califórnia pouco antes da Guerra Civil Americana. Sua mãe é descendente de alemães, noruegueses, poloneses e suecos. Ele tem três irmãs mais velhas, Nancy, Julie e Maureen. Brady foi criado como católico. Era torcedor do San Francisco 49ers, tendo ido a vários jogos do time na década de 1980, quando se tornou fã do "quarterback" Joe Montana; Tom mencionou Montana como uma inspiração e seu ídolo. Tom formou-se na Junípero Serra High School, em San Mateo. Ele jogou futebol americano, basquete e beisebol na escola.