Motstanden mot Grevesmöhlen fremkom da en advokatfiskal i tollvesenet i 1806 anklaget han for visse mindre forseelser. Grevesmöhlen bestred anklagene, men tollvesenet bestemte i november 1806 at han skulle utestenges fra tjenestegjøring og oversendte saken til Kammarkollegium (en svensk myndighet). Deretter var det en lengre rettergang som ble avsluttet i 1810, Grevesmöhlen fikk en bot, men ble ellers frikjent. I 1811 fikk han sin stilling tilbake, men gikk samme år i pensjon da myndigheten ble nedlagt.