I 1823 ble Sem utnevnt til sorenskriver i Jæren og Dalene, og i 1828 ble han amtmann i Buskerud amt. I 1831 ble han stiftamtmann i Akershus stift, og i 1837 stiftamtmann i Kristiansand stift.