Vincent Bildt opptrer i 1637 som befalingsmann over Brunla len der han var Ove Gjeddes etterfølger. Som lensherre over Brunla bodde Bildt på Herre Unneberg i Sandeherred utenfor Sandefjord. I 1643 byttet han len med Nils Lange og fikk igjen Eker len med den store Sem setegård i Øvre Eiker. I 1646 fikk han Tunsberg len, hvormed fulgte Sem kongsgård ved Tønsberg. Her ble han boende vel et tiår. Han fikk innført pliktarbeid for bøndene i Tunsberg len. I landkommisjonens protokoll av 1661 opplyses at almuen «mest gjort arbeide til residensen Sem» med onnearbeider, ved- og gjødselkjøring, og så videre. Dette gikk etterhvert over til å bli en avgift i form av arbeidspenger til Sem kongsgård, som sattes til 1 rdl. for en fullgård, 1/2 rdl. for halvgårder og 1 ort for en ødegård.