Han nedstammet fra en opprinnelig mecklenburgsk adelsfamilie og var sønn av geheimeråd Hans Frederik Levetzau (død 1763). I 1771 ble han gift med Juliane Marie Frederikke Louise Moltke (1751–1773), datter av Adam Gottlob Moltke til Bregentved. Han ble gift igjen i 1775 med Christiane Frederikke Wedell-Wedellsborg, datter av Hannibal Wedell-Wedellsborg. En sønn av ham, Werner Levetzau, var født i Christiania i 1782 og ble senere overhoffmarskalk ved hoffet i København.