McCarthy ble født på en gård i landsbyen Grand Chute i Wisconsin. Hans ene bestemor var fra Tyskland og hans tre øvrige besteforeldre fra England. Begge foreldrene var født i Wisconsin. McCarthy studerte ingeniørvitenskap og jus, og ble advokat i 1935. I 1936 stilte han som Demokratenes kandidat som distriktsanklager, men tapte. Han ble imidlertid valgt til distriktsdommer i 1939, som den yngste dommer i Wisconsins historie.