Hjemmet var preget av haugianismen og tankene til bondepolitikeren Søren Jaabæk, begge disse åndsretningene tilhørte det gamle bondesamfunnet og inneholdt elementer som naturlig kunne føre til de anarkistiske ideene Ivar Mortensen senere utviklet. Mens 1800-tallets mest kjente kulturpersonligheter med bakgrunn fra «Bygde-Norge», Ivar Aasen, Aasmund Olavsson Vinje og Arne Garborg, alle gikk gjennom en tung oppveksttid og måtte kjempe seg fram i kulturlivet, hadde Ivar Mortensen en lykkelig oppvekst i et miljø preget av kulturell og økonomisk rikdom, og det gjorde ham kanskje tryggere og helere også som åndsmenneske.