Nelson kom fra en musikalsk familie. Hans mor var opprinnelig fra Atlanta, der hun hadde vært solist i et kirkekor, og hans mormor Caroline Netta Ackerman Kendrick var en fremtredende oratorie-sanger. Hans far tok iblant ekstrajobber som scenearbeider ved Providence Opera House, sang i kirkekor, spilte tromme og opptrådte i lokale amatørforestillinger, blant annet i Gilbert & Sullivans .