童年常常与前任国王奥拉夫·特里格维松（他将基督教引入挪威），以及将福音书及孩童耶稣相提并论，后者对哈康四世的王权起着重要的意识形态作用。在萨迦中，哈康四世被描述从小已经是聪明而机智。当他三岁的时候，哈康·哈康森被牧杖党抓获，但拒绝称唿牧杖党国王菲利普·西蒙森为主人（尽管如此他仍然没有受到伤害）。当他在八岁时得知国王英格二世和他的兄弟伯爵已经就排除自己的王位继承权达成协议时，哈康·哈康森指出该协议无效，因为他的代表没有出席会议。随后，他宣称自己的代表是“上帝和圣奥拉夫”。最特别的是哈康·哈康森是第一位在学