Han vokste opp i det nordlige New Jersey. Foreldrene var fiskegrossist Fred Allan Hartley sr. og Frances Alice Hartley. Han gikk college ved Rutgers University. Han stiftet familie tidlig, så i stedet for å studere videre, ble han valgt til sjef for bibliotekvesenet i Kearny, bare 19 år gammel, og til sjef for politi- og brannvesenet året etter.