Tveitt skaffet seg tidlig god kjennskap til den norrøne kulturarven og lærte seg til å tale norrønt. Til tross for farens kristne bakgrunn betraktet han seg selv som en slags hedning og innførte sin egen tidsregning etter Leiv Eirikssons oppdagelse av Vinland.