Han var sønn av generalmajor François Xavier Joseph Danneskiold-Løvendal og Charlotte Marguerite Elisabeth de Bourbon (1754–1838), og vokste frem til 1783 opp i Versailles, hvoretter han ble oppdratt i instituttet Père de l'Oratoire og Collège d'Harcourt i Paris.