Storm vokste opp i Stavanger. Familien var ikke religiøs, men respekterte kristendommen. To av onklene hans på farssiden var professorer og hans far Fredrik Storm (1847-1911) var major og hadde samtidig en privat skole i Stavanger (Storms skole). En onkel av ham på morssiden var Thorvald Christensen i Arendal som var kammerherre hos kong Oscar II. Hakon var melankoliker og idealist, og viste tidlig talent for kunstmaling. Han leste Søren Kierkegaards verker som 12-åring og studerte kunst i Danmark og Italia. Edvard Munch, Gustav Vigeland og Vilhelm Krag var blant vennene hans. ”Ingen har kjent Gustav Vigeland så godt som jeg”, skal Hakon Storm ha uttalt.