Om hans ungdomsår er det ikke meget som er dokumentert, men han vokste opp i et høyadelig miljø, der historie, bygningskunst og vitenskap var viktige innslag. Flere av hans onkler på farssiden innehadde høye stillinger i samfunnet, blant annet erkebiskopen i Nidaros Erik Valkendorf.