Charles Joseph McCarthy jr. var sønn av den fremgangsrike advokaten Charles Joseph senior og hans hustru Gladys Christina McGrail, og det tredje av seks barn. Familien var irsk katolsk. Familien flyttet fra Rhode Island til Knoxville i Tennessee i 1937, der faren var advokat for det statseide kraftselskapet Tennessee Valley Authority.