Levetzau måtte gå av som stiftamtmann i 1784 etter skandalen omkring justisråd og zahlkasserer Jacob Juels kassemangel på en halv million riksdaler. Som stiftamtmann fikk Levetzau i september 1783 ordre om å suspendere Juel, fordi rentekammeret i København hadde fattet mistanke til ham. Levetzau nølte lenge med å iverksette suspensjonen, fordi han ikke kunne se at det var noe galt med Juels regnskaper. Først da en kammerråd Spild ble sendt opp fra København ble underslaget avslørt. Levetzau, som i egenskap av stiftamtmann skulle ha ført tilsyn med Juel, ble som straff for forsømmelighet året etter utnevnt til landdrost i det lille grevskapet Pinneberg utenfor Hamburg, og ble etterfulgt som stiftamtmann av Jørgen Erik Scheel. Han ble værende i stillingen som landdrost i Pinneberg til sin død i 1817.