von Gneisenau var son till en sachsisk artillerilöjtnant August Wilhelm Neidhardt, av österrikisk härkomst. Tillnamnet von Gneisenau tillfogades först efter universitetsstudierna och anknyter till en tidigare egendom i Österrike. Han gick 1779 i österrikisk militärtjänst, 1782 i ansbach-bayreuthsk, och medföljde de trupper, som på grund av fördraget med England samma år översändes till Amerika. Efter freden i Paris 1783 lämnade han krigstjänsten, men inträdde 1786 i preussisk tjänst. Under fredsåren sysselsatte han sig med trägna militära och politiska studier samt med lanthushållning. Under kriget med Frankrike 1806–1807 utmärkte han sig som major i slagen vid Saalfeld och Jena och sedan genom ledningen av försvaret av Kolberg. Såsom biträde åt Scharnhorst och andra framstående män medverkade han kraftigt vid arbetet med den preussiska arméns nyskapande. 1809 gavs honom av hänsyn till Napoleon avsked ur militärtjänsten, varefter Gneisenau 1812 reste genom Ryssland, Sverige och England, men återinträdde 1813 i krigstjänst och blev generalstabschef hos fältmarskalken Blücher. I denna befattning skapade han sin ryktbarhet.