I 1547 ble han forlenet med Tønsberg len. Han oppholdt seg skiftevis i Tønsberg og på slottet Bregentved i Danmark, som han hadde arvet etter sin mor. I sin tid som lensherre var han opptatt med lærde studier. For eksempel diskuterte han teologi med sognepresten i Tønsberg Laurids Lauridsen og studerte runeskriften sammen med fetteren Mogens Gyldenstjerne. I 1551 ble han smittet av pest, men overlevde. Han døde ugift i 1555.