Hij werd geboren als zoon van de staatsman Hans Christoph Ernst von Gagern. Zijn oudere broer Friedrich Balduin was generaal in Nederlandse dienst, zijn jongere broer Max eveneens staatsman. Na zijn eindexamen bezocht hij te München een cadettenschool (1813-1814). In 1814 trad hij in dienst van Nassau-Weilburg, in welke hoedanigheid hij de Slag bij Waterloo meemaakte. Hij studeerde hierna rechten te Heidelberg (1816-1817) - waar hij medeoprichter van de Duitse Burschenschaft was, Göttingen (1817-1818), Jena (1818-1819) en Genève (1819).