Adeler ble utnevnt til amtmann i Bratsberg 30. juli 1764, 28 år gammel. Den 20. februar 1771 ble han mot sin vilje forflyttet til Lister og Mandals amt, fordi «hans forkjøpsret til trælast, som eier av Gimsø, kom i strid med hans embede». I 1773 blev han etter søknad igjen ansatt i Bratsberg, men på betingelse av at hans trelasthandel ble besørget av amtmannen i Buskerud. I 1781 ble han igjen flyttet, men nå som befordring til stiftamtmann i Kristiansand. Undersøkelsene i anledning Lofthusreisingen hadde brakt for dagen en del misligheter i hans forhold, nemlig den ulovlige og urimelige friskyss han tiltok seg på sine mange reiser mellom Kristiansand og Gimsøy i rent private anliggender. Han frasa seg embetet i 1787 og flyttet hjem til Gjemsø kloster.