ブラウンはアメリカの首都ワシントンD.C.で生まれ、2歳の時から両親とともにカリフォルニア州サンフランシスコに定住した。両親ともテニス好きであったが、ひとり息子のトムが生まれた頃は職探しの苦労が多く、ようやく父親がウエスタン・パシフィック鉄道で広報係の仕事を得た。父親が鉄道職員だったことから、トムは幼少時代から旅好きな子供として育った。彼は8歳から自宅近くにあった「ゴールデン・ゲート・パーク」でテニスの練習を始め、11歳になる頃からサンフランシスコのトップジュニア選手として頭角を現し始めた。彼の少年時代は世界大恐慌期と重なっていたため、あまり裕福でない3人家族はトムのテニスレッスン代を賄い、彼の技量を伸ばすためにいろいろな手段を駆使したという。17歳を迎えた頃、彼は「南カリフォルニア・テニス連盟」の会長だったペリー・ジョーンズ（1890年 - 1970年）と出会い、「ロサンゼルス・テニスクラブ」でジョーンズの指導を受け始めた。後にブラウンが2度の4大大会シングルス決勝で敗れたジャック・クレーマーも、ジョーンズの教え子の1人だった。カリフォルニア大学に進学したブラウンは、1942年に20歳で全米選手権に初出場し、ガードナー・ムロイとの3回戦まで勝ち進んだ。当時は第2次世界大戦の戦時中であり、どの選手も軍務に就きながら全米選手権に出場していた。ブラウンは1943年からアメリカ陸軍に入隊し、世界大戦が終わりに近づいた時期の1945年に、一等陸軍兵（英語：Private First Class, Pfc. という略語で呼ばれる）としてヨーロッパに勤務した。彼はフランスで1945年夏の世界大戦終結を迎え、1946年2月に除隊となった後、直ちにアメリカを代表するテニス選手としての活動を開始した。トム・ブラウンは1946年のウィンブルドン選手権で初めての海外遠征に赴き、この大会で男子ダブルス・混合ダブルスの2部門制覇を達成した。男子ダブルスではジャック・クレーマーとペアを組み、決勝でジェフ・ブラウン&ディニー・ペイルズ（ともにオーストラリア）を 6-4, 6-4, 6-2 のストレートで圧倒した。混合ダブルスのパートナーはルイーズ・ブラフで、決勝戦ではG・ブラウンとドロシー・バンディの組に 6-4, 6-4 のストレート勝ちを収めた。このウィンブルドンでは、男子ダブルスと混合ダブルスの2部門で“2人のブラウン”（アメリカのトム・ブラウンとオーストラリアのジェフ・ブラウン）が決勝対決を行い、2部門ともトムがジェフを退けたことになる。シングルスでは準決勝でイボン・ペトラ（フランス）に 6-4, 6-4, 3-6, 5-7, 6-8 の逆転負けを喫し、ここでは決勝進出を逃した。ブラウンはしばらくヨーロッパに残り、バッジ・パティー、マーガレット・オズボーン、ポーリーン・ベッツと4人の一行でスウェーデンを訪問し、国王グスタフ5世の招待でエキシビション・マッチを行った。それから全仏選手権にも初出場し、シングルスの第2シードとしてヤロスラフ・ドロブニー（当時チェコスロバキア国籍）との準決勝まで勝ち上がり、混合ダブルスでドロシー・バンディと組んで準優勝した。ブラウンとバンディは、決勝でパティーとベッツの組に 5-7, 7-9 で敗れた。終戦直後の時期は、全仏選手権は（現在とは異なり）ウィンブルドン選手権よりも後に開催されていた。同じ1946年の全米選手権で、ブラウンは初めて男子シングルス決勝に勝ち進んだが、クレーマーに 7-9, 3-6, 0-6 のストレートで完敗して準優勝に終わった。それから終戦後初のデビスカップ戦が行われ、アメリカ代表選手としてブラウン、クレーマー、テッド・シュローダー、フランク・パーカー、ガードナー・ムロイ、ビル・タルバートの6人が選ばれた。最初のデ杯戦は、全米選手権終了直後の9月13日-15日にニューヨークの「ウエストサイド・テニスクラブ」（通称フォレストヒルズ）で行われ、アメリカはスウェーデンに5戦全勝を収めた。年末の12月26日から30日にかけて、アメリカ代表チームはオーストラリアとの決勝を戦うため、敵地のメルボルンにある「クーヨン・テニスクラブ」に遠征した。ブラウンは両方とも控え選手であり、スウェーデン戦・オーストラリア戦ともに出番はなかった。（デビスカップ公式サイト内の試合データでは、実際に出場した選手のみが記載されるため、控え選手の情報が残っていない。）オーストラリアで新年を迎えたブラウンは、1947年1月の全豪選手権に第3シードとして出場し、シングルス・ダブルスともベスト4まで勝ち進んだ。シングルス準決勝では第2シードのディニー・ペイルズに 2-6, 4-6, 1-6 で完敗し、ダブルスではビル・シッドウェル（オーストラリアの選手）とペアを組んだ。これがブラウンの唯一の全豪選手権出場記録である。1947年のウィンブルドン選手権で、トム・ブラウンは再び決勝でジャック・クレーマーと顔を合わせ、ここでも 1-6, 3-6, 2-6 のスコア（試合時間45分）で完敗した。ブラウンとクレーマーはテニス経歴を通じて7度対戦したが、すべてクレーマーがストレート勝ちを収め、ブラウンは1セットも取れなかった。クレーマーは自伝の中で、ブラウンのことを（彼一流のユーモアで）「彼は私のはとだった」と書き残した（参考文献の129ページによる）。それから、ブラウンは再び全仏選手権に遠征し、ビル・シッドウェルとの男子ダブルスで決勝戦に進出する。全仏ダブルス決勝では南アフリカペアのエリック・スタージェス&ユースタス・ファニン組に 4-6, 6-4, 4-6, 3-6 で敗れ、タイトルのチャンスを逃した。同大会のシングルスでは第1シードだったが、準決勝でヨージェフ・アシュボード（ハンガリー）に 2-6, 2-6, 1-6 で敗れ、2年連続のベスト4で止まった。全米選手権の準々決勝でヤロスラフ・ドロブニーに敗れたことにより、ブラウンが終戦直後から続けてきた4大大会男子シングルス準決勝以上の上位進出記録は6大会で途切れた。1948年のウィンブルドンで、ブラウンはガードナー・ムロイと男子ダブルスのペアを組み、2年ぶり2度目の決勝戦に進出した。しかし、2人はオーストラリアペアのジョン・ブロムウィッチ&フランク・セッジマン組に 7-5, 5-7, 5-7, 7-9 で競り負けてしまう。同大会のシングルスでは、ブラウンは準々決勝でヨージェフ・アシュボードに 6-4, 3-6, 6-4, 1-6, 1-6 で敗退し、前年の全仏準決勝に続いてこのハンガリー人選手に2連敗を喫した。アシュボードは当時のテニス界で“単調な”プレースタイルから“Mr. Monotonous”（単調な男）と呼ばれていたという。ブラウンは自伝の中で「1948年ウィンブルドンが私の“白鳥の歌”だった」と振り返った。同年の全米選手権で、ブラウンは混合ダブルスでルイーズ・ブラフとペアを組み、このコンビで1946年ウィンブルドン以来となる2勝目を挙げた。2人は決勝でビル・タルバート&マーガレット・オズボーン組を 6-4, 6-4 で破り、ブラウンはここで最後の勲章を獲得した。その後は全米選手権で1950年と1954年にベスト8がある。デビスカップのアメリカ代表選手としては、1953年の対日本戦に出場したこともあり、ビル・タルバートと組んだダブルス第3試合で加茂公成&宮城淳組に勝ち、シングルス第5試合で木村雅信を退けている。彼は1955年に33歳でテニス界の第一線を退いた後も、長きにわたってシニアでプレーを続け、生涯を通じて世界各地への旅行を楽しんできた。2007年、85歳になったブラウンは『As Tom Goes By』という題名の回想録を出版した。これは英語の慣用句“as time goes by”（時の流れとともに）と彼の名前「トム」を掛け合わせた書名である。本書中に記された彼の近況報告によると、現役時代のライバル選手たちのうち、ガードナー・ムロイやビル・シッドウェルらとは今なお親しい交友が続いているという。第12章から第14章までの3章を割いて、彼が関わりを持った様々な選手たちの詳細な分析も残されており、テニスの歴史を調べる上で興味深い資料となっている。2011年10月27日に89歳で死去した。晩年はアルツハイマー病を患っていた。