Han giftet seg i 1812 med Dorothea Jensine Bolle, datter av rittmester Johan Christian Bolle og hustru Karen Catharina Wessel. Hun hadde barn fra sitt første ekteskap med major William Wessel på Værnes gård, som også var hennes morbror. C.M. Holst kjøpte samme år Vestre Stiklestad (prestegården) i Verdal, hvor de slo seg ned og fikk to barn; sønnen Wilhelm Christian Holst, som ble offiser, gårdbruker og ordfører i Verdal, og datteren Christine, som ble gift med bakermester Georg Andreas Ludwig Mack i Tromsø. De ble dermed besteforeldre til rittmester, stortingsmann, statsråd og amtmann Peter Holst og til ølbrygger Ludwig Mack.