Nelson perdió su puesto en el Senado frente al republicano Bob Kasten en 1980 y se convirtió en consejero de la The Wilderness Society en enero de 1981.