Casimir Wilhelm von Scholten var gift med Catharina Elisabeth de Moldrup (født 1764, død 1804) og var far til Peter von Scholten, som ble Dansk Vestindias generalguvernør og var den ansvarlige for avskaffelsen av slaveriet i Dansk Vestindia i 1848.