Nystedt vokste opp i et hjem med musikk. Faren ledet en amatørkvartett, og den klassiske kvartettmusikken var blant guttens tidligste musikalske inntrykk. Han begynte å spille klaver ni år gammel, og 1924–27 var Ruth Gaarder hans lærer.