Nelson nació el 4 de junio de 1932 en San Luis (Missouri), en un entorno altamente influenciado por la música: su hermano era saxofonista y había tocado con Cootie Williams en los años 40, y su hermana cantaba y tocaba el piano.