Bernadotte hadde ofte et anstrengt forhold til de andre ministrene. En gang truet han finansministeren med sabel da han fikk høre at det ikke var penger til å betale lønninger og leverandører. Samtidig var flere av kollegene imponert over hvordan han behersket detaljer, og hvordan han fikk frem forsterkninger som gjorde at en britisk-russisk landstigning i Nederlandene ble slått tilbake. På denne tiden var det stor misnøye med det franske styret under direktoriet. Bernadotte var blant de skarpeste kritikerne, med sympati for de venstreekstreme nyjakobinerne. I det pågående politiske intrigespillet ble han avsatt fra embetet den 14. september samme år gjennom et listig trekk av Sieyès, som fryktet at Bernadotte var med og planla et nytt statskupp.