Slektens første medlem var Peter Petersen (1708–1783), kongens livmedikus som var født i Heide og som ble adlet til i 1770. Han var Verner von Heidenstams fars farfar. Verner von Heidenstam var det eneste barnet til fyringeniøren Nils Gustaf von Heidenstam og Magdalena Charlotta Rütterskjöld. I oppveksten tilbrakte de sommerferiene på Olshammarsgården, som var i hans mors families eie i den lille bruksbyen Olshammar ved Vättern. Til tross for at han tilbrakte vintrene i Stockholm, kaller han Olshammar for sitt barndomshjem. I sine verker vender han ofte hjem til stedet hvor han vokste opp. I den selvbiografiske har han beskrevet barndommen som «ensom».