Der Familienvater Daniel Jerome „Dan“ Kelly wurde am 11. Oktober 1930 in Erie im US-Bundesstaat Michigan geboren. Er war ein Nachfahre irischer Einwanderer, die infolge der in Irland herrschenden Hungersnot um 1850 nach New York City und von dort aus in den Westen emigriert waren. Kelly war zunächst Mitglied des Jesuitenordens und hatte vier Jahre Religionswissenschaften in Rom studiert, bevor er ein Mathematik- und Philosophiestudium aufnahm und als Lehrer an einer Highschool in Michigan beschäftigt war. 1957 heiratete er seine erste Frau Janice (1935–2018).