Nació en la ciudad de Teaneck, Nueva Jersey, fue el hijo menor de Ozzie Nelson, el líder de una big band, y Harriet Hilliard Nelson, la vocalista de la banda.