Hardenberg ble født inn en adelig familie som sønn av den senere feltmarskalk Christian Ludwig von Hardenberg (1700–1781) og Anne Sophie Ehrengart, født Büllow (1731–1809). Han vokste delvis opp hos sin onkel, den hannoverske geheimeråd og krigspresident Friedrich Carl von Hardenberg (1696–1763). Skolegangen ble ivaretatt av privatlærere, og var preget av opplysningstidens ideer. Hardenberg hadde også opphold på det private gymnasiet til Ludwig Wilhelm Ballhorn i Hannover.