Dougherty var interessert i skuespill og musikk. Han lærte seg å spille fele, munnspill og gitar og underholdt også ofte med sang. Da han studerte på Van Nuys High School ble han med i skolens dramagruppe sammen med blant annet Jane Russell. Dougherty spilte også fotball og var skolens elevrådsleder. Etter skolen fikk han seg jobb i et begravelsbyrå, men mistrivdes og begynte i stedet å jobbe for flyfabrikken Lockheed Aviation.