Etter oppvekst i Wesselstuen ved Vestby prestegård, ble de tre nevnte brødrene innskrevet 1757 ved Christiania katedralskole, hvorpå de studerte til examen artium i Københavns Universitet, der Ole fordypet seg i såvel som jus og landmåling. Med blant andre broren Caspar var Ole med på de første oppmålingene av Norge, et prosjekt danskene startet i 1762. Med jusdiplomet i 1770 fikk han året etter jobb som assessor (samme som dommer) og steg i gradene via justisråd, inntil han i 1790 var blitt både høyesterettsdommer og konferanseråd. Han flyttet tilbake til sitt kjære Norge i 1777 etter å ha blitt generalauditør, den som fulgte med at det militæret rettsvesen gjorde som det skulle.