Dougherty, med kallenavnet «Dinny», gikk til skole i Ashland til han var 10 og fortsette på high school i Girardville. Han arbeidet som i de lokale kullgruver i sommerferiene.