Hans Pederssøn flyttet til Fossesholm, men seinere samme sommer begynte han på nytt å bruke Sem som residens. Da kong Christian IV fikk beskjed om dette sørget han for at et makeskiftet ble undertegnet på Akershus den 17. september. Kongen kom med kongeskipet til Bragernes og dro videre til Sem og bodde der i seks uker - fra omkring 20. september til 4. november 1602, dronningen Anna Kathrine (1575-1612) fulgte kongen på denne reisen. Hans Pederssøn Litle døde 15. november samme år.