Pocházel ze švédského šlechtického rodu, který se přes službu v Brunšvicku a sňatek brunšvické princezny Alžběty Kristýny s Karlem VI. dostal do habsburské monarchie. Karel Josef byl již v roce 1749 podporučíkem v císařské armádě. Za sedmileté války dosáhl hodnosti kapitána a za účast na dobytí Svídnice a Vratislavi obdržel Řád Marie Terezie. Obrany Svídnice se zúčastnil i v následujících letech, po sedmileté válce byl povýšen na majora (1767) a na základě stanov Řádu Marie Terezie byl v roce 1774 povýšen do stavu svobodných pánů. Jako podplukovník (1777) vynikl ve válce o bavorské dědictví, poté byl povýšen na plukovníka (1779). Později bojoval proti Turkům a v roce 1789 dosáhl hodnosti generálmajora. Nakonec se stal polním podmaršálem a členem dvorské válečné rady (1796). V letech 1798–1814 byl velitelem posádky v Praze, v letech 1798–1800 byl i zemským velitelem v Českém království. Po odchodu do výslužby zůstal v Praze, kde o dva roky později zemřel.