I Norge bodde og arbeidet Holten i Kommandantboligen på Akershus festning hvor han ledet stattholdersekretariatet, senere statsrådssekretariatet, frem til høsten 1814 da han returnerte til Danmark.