Gården hadde vært i slektens eie siden midten av 1700-tallet. Faren var tidligere elev av H.K. Foosnæs, en dyktig bonde og medlem av herredsstyret i en mannsalder. Ola Five kom fra nabogården, men de to var ikke i slekt. Håkon Fives lærer i folkeskolen var Peter Følling, som beskrev ham som sin mest begavede elev i hele sin lærergjerning. Five gikk landbruksskolen på Mære og landbrukshøyskolen på Ås. I 1909 studerte han ved Eidgenössische polytechnische Schule i Zürich, og i 1910 tok han statsøkonomisk eksamen ved Det Kongelige Frederiks Universitet.