Nelsons ble født i Riga. Hans mor grunnla det første musikkensemblet i Latvia, og faren var kordirigent, cellist og lærer.