Ole giftet seg i 1780 med Helene Carlsen Barclay (1762–1826). De skiltes i 1790 etter hennes skandale med Enevold de Falsen og Ole giftet seg i mars 1791 med den steinrike enken Maren Juel (1749–1815) på Hafslund hovedgård. Men så døde han i 1794 bare femti år gammel, en siste kurtur til Bad Pyrmont var forgjeves.