Gneisenau ble født i byen Schildau, ikke langt fra den større byen Torgau i det nordvestlige Sachsen. Hans far var August William Neidhardt som var løytnant i det saksiske artilleriet, og moren Maria Eva Neidhardt, født Müller. Han vokste opp i enkle kår i Schildau og i byene Würzburg og Erfurt. Selv om han familiemessig kom fra en familie fra høyere sosiale lag, hadde familien svak økonomi.