Ivar Mortensens foreldre var Anne Petronelle Tangen fra Neby og Morten Mortensen fra gården Utgard, begge Tynset. Hun var dypt religiøs, men i en lys og mild form, og ble omtalt som et varmhjertet og godt menneske. Kunstnersinnet og -evnene fikk sønnen sannsynligvis fra henne, mens den sterke viljen som grenset til stahet er det naturlig å tenke seg var en arv fra den praktiske og handlekraftige faren. I 1848 kjøpte faren gården Øya og senere Einabu, og drev begge samtidig. Han arbeidet seg opp fra enkle bondekår, engasjerte seg i lokalpolitikken og lokalt næringsliv, og ble ordfører i Lille Elvedal.