Whitmore besuchte die Yale University, wo er Mitglied der Studentenverbindung Skull &amp; Bones war. Während des Zweiten Weltkriegs diente er im United States Marine Corps. 1948 trat er erstmals am Broadway auf. Für seine Darstellung in dem Theaterstück "Command Decision" wurde er mit einem Tony Award und dem Theatre World Award ausgezeichnet. Für seine Darstellung in dem Spielfilm "Kesselschlacht" wurde er 1950 als " Bester Nebendarsteller" mit einem Golden Globe Award ausgezeichnet sowie für einen Oscar nominiert. In dem biografischen Filmdrama "Give ’em Hell, Harry!" verkörperte Whitmore in der Hauptrolle den ehemaligen US-Präsidenten Harry S. Truman. Für diese Rolle war er ein weiteres Mal als für einen Oscar nominiert, diesmal als "Bester Hauptdarsteller."