Harmon fue el cuñado de Ricky Nelson y es tío de los cantantes Matthew y Gunnar Nelson —integrantes de la banda Nelson—, y la actriz Tracy Nelson.