Christian VIII som kommer på tronen etter Frederik VIs død i 1839 får von Scholten aldri det samme tette forhold til. Von Scholten foretar mange reiser frem og tilbake mellom Vestindia og København med det formål å overtale regjeringen og Kongen om å gi slavene deres frihet. Slavene hadde blitt frigitt på De britiske Jomfruøyer i 1834, og det kun var et spørsmål om tid før dette også tvinger seg frem på de danske øyene. Men dessverre må von Scholten konstatere at han er ved å miste grepet, både om Dansk Vestindia og om slavenes forhold. På den ene side vil han gjøre alt for at slavene får deres frihet, men på den annen side vet han også godt at hvis slavene får deres frihet vil de ikke vite hva de skal bruke den til. Han ser utdannelse som den eneste holdbare vei til slavenes frigjørelse. Samtidig har von Scholten stort sett hele Danmark imot seg som for de flestes vedkommende ikke forstår hva som foregår. Det er den allmenne oppfattelse at øyene og slavene skal behandles med hard hånd med henblikk på å skaffe det største mulige økonomiske overskudd.