Neste lensherre som bodde på Sem var Hartvig Huitfeldt (ca.1583–1637), fra 1618 til 1626. Han startet moderniseringen av Sem med bygging av en ny fløy i 1620, med fogdekammer, borgstue og portkammer. Han fikk også bygget et solid forsvarsverk rundt bygningene og et fangehus.