Caspar von Cappelen ble den 8. september 1785 gift med Johanne Antoinette Dorph (1768–1857), som var datter av fogd i Ringerike og Hallingdal Christian Dorph og Antoinette Johanne Sverdrup og barnebarn av Antoinette Ancher.