Jack Kramer
ブラウンはアメリカの首都ワシントンD.C.で生まれ、2歳の時から両親とともにカリフォルニア州サンフランシスコに定住した。両親ともテニス好きであったが、ひとり息子のトムが生まれた頃は職探しの苦労が多く、ようやく父親がウエスタン・パシフィック鉄道で広報係の仕事を得た。父親が鉄道職員だったことから、トムは幼少時代から旅好きな子供として育った。彼は8歳から自宅近くにあった「ゴールデン・ゲート・パーク」でテニスの練習を始め、11歳になる頃からサンフランシスコのトップジュニア選手として頭角を現し始めた。彼の少年時代は世界大恐慌期と重なっていたため、あまり裕福でない3人家族はトムのテニスレッスン代を賄い、彼の技量を伸ばすためにいろいろな手段を駆使したという。17歳を迎えた頃、彼は「南カリフォルニア・テニス連盟」の会長だったペリー・ジョーンズ（1890年 - 1970年）と出会い、「ロサンゼルス・テニスクラブ」でジョーンズの指導を受け始めた。後にブラウンが2度の4大大会シングルス決勝で敗れたジャック・クレーマーも、ジョーンズの教え子の1人だった。