Han var sønn av Gunnar Haftorsen (Kvål) og Ingeborg Andersdatter Råen på Østre Råen i Skjelstadmark. Han giftet seg i 1825 med Marit Iversdatter Børset, som han fikk tolv barn med. De drev først hennes slektsgård Børset, som Haftor fikk skjøte på etter sin svigerfar i 1829. I 1840 kjøpte han også Vestre Skjelstad, og flyttet med familien dit.