Selv om von Scholten er godt gift i København, så holder han ikke en lav profil når han er på St. Croix, hvor von Scholten styrer sitt lille rike. Han har åpenlyst en sort elskerinne, Anna Heegaard, som han bor sammen med på sitt meget flotte landsted Bülowsminde. Gjennom hele sin tid i Dansk Vestindia, som Guvernør og senere Generalguvernør, har von Scholten et godt forhold til de sorte helt sikkert også på grunn av sitt forhold til Anna Heegaard. I 1834 gjør han de frie slaver likeverdige med de hvite. I 1839 oppretter han Landskoleordningen og får overtalt Frederik VI til å bygge hele 17 slaveskoler på øyene, og von Scholten engasjerer seg veldig i disse skolene og overværer alltid eksamenene på skolene. Von Scholten er av den oppfatning at frihet er noe man må oppdras til, og skoleordningen var i denne sammenhengen sentral. All undervisning foregikk på engelsk, og ikke dansk eller kreolsk som enkelte misjonærer hadde brukt tidligere.