Som ungdom studerte Nelsons piano, og tok opp trompeten i en alder av 12. Han sang også bass-bariton, med en spesiell interesse for tidlig musikk, i sin mors ensemble.