Su esposa Kristin Harmon se había divorciado de él y se llevó con ella a sus cuatro hijos Tracy Nelson, Matthew Nelson, Gunnar Nelson y Sam Nelson.