Den 11. oktober 1804 giftet han seg i København med komtesse Annette Christiane Knuth-Christiansdal (1787–1873). Paret fikk flere barn, deriblant den senere overhoffmarskalk Carl Ludvig (von) Løvenskiold (1822–1898).