I 1938 debuterte McCarthy på Broadway i teaterstykket . Fra 1942 til 1945 tjenestegjorde han i US Air Force. I 1944 hadde han sin filmdebut i en ukreditert rolle i krigsfilmen , regissert av George Cukor. Han hadde tidligere hatt en rolle i teaterstykket som filmen var basert på. I 1949 debuterte han på teaterscenen i London i rollen som Biff Loman i Arthur Millers . Han gjentok denne rollen da teaterstykket ble filmatisert i 1951, og vant Golden Globe for mest lovende mannlige nykommer. I tillegg ble han nominert til Oscar for beste mannlige birolle.