James Edward Dougherty ble født 12. april 1921 i Los Angeles i California som sønn av Edward og Ethel Dougherty. Han hadde to eldre brødre, Tom og Marion, og en søster, Billie. Etter å ha bodd en periode i Arizona flyttet familien tilbake til California der Doughertys far fikk en bedre betalt jobb. Familien fikk svært dårlig råd på grunn av den store depresjonen og måtte bo i en gammel bil og et telt. Alle barna måtte jobbe for at de skulle ha nok penger, og Dougherty måtte også lære seg å bli en dyktig jeger for å gi familien mat på bordet. I 1930 hadde de til slutt spart opp nok penger til å kjøpe et lite hus i Van Nuys.