Au printemps 1896, Heidenstam voyage sur les traces du roi Charles XII à Constantinople, Bendery, Poltava, Moscou et Saint-Pétersbourg, avant de s'attaquer à son nouveau projet, un livre en deux tomes consacré au monarque. À l'été 1896, il demande une avance de à son éditeur Karl Otto Bonnier, qui qualifie ce montant de « fabuleux ». Le livre, intitulé "Les Carolins" ("Karolinerna"), est publié en 1897 et connait un grand succès, les différentes éditions se vendant à plus de . Heidenstam y décrit la campagne de Charles XII en Russie, la défaite à Poltava et l'exil à Constantinople. Il y décrit cette campagne au travers de ceux qui y ont participé, allant du roi jusqu'au simple soldat. En lieu et place du héros de légende créé par Esaias Tegnér, Heidenstam donne au roi Charles XII un visage humain. Le premier livre est accueilli par des critiques essentiellement négatives, tandis que le deuxième reçoit un accueil plus positif. Avec les années, "Les Carolins" deviendront une lecture obligée pour les écoliers suédois. Avec ce livre, Heidenstam devient la figure de proue du mouvement fin-de-siècle en Suède.