Stoltz kam in einer Arbeiterfamilie als unehelicher Sohn des schwedischen Schriftstellers Axel de la Nietze in Stockholm zur Welt. Sein großes Schachtalent machte sich ab Mitte der 1920er Jahre bemerkbar. 1926 unterlag er in einem Vergleichskampf Stockholm-Leningrad dem späteren Weltmeister Michail Botwinnik mit 0,5:1,5. Er nahm bereits 1927 für Schweden an der Schacholympiade in London teil, weitere Teilnahmen an Olympiaden folgten 1928, 1930, 1931, 1933, 1935, 1937, 1952 und 1954. Mit der Mannschaft erreichte er 1935 in Warschau den zweiten und 1933 in Folkestone den dritten Platz, in der Einzelwertung gewann er 1931 in Prag an Brett 2 die Goldmedaille und 1935 ebenfalls an Brett 2 die Bronzemedaille. Stoltz nahm außerdem mit der schwedischen Mannschaft an der inoffiziellen Schacholympiade 1936 in München teil.