Ce poste, Geßler va le conserver sous plusieurs chanceliers même s'il exprime ouvertement ses doutes face à cette nouvelle tâche à laquelle il ne se sent pas à la hauteur. Sa fidélité envers Ebert est sans faille, il veut lui l'aider tant par sa fonction de ministre mais aussi l'aider . Geßler veut rendre l'armée plus efficace, une armée qui ne soit plus autant impliquée dans la vie politique qu'elle l'est à l'époque. Son ambition est de créer une Reichswehr neutre et au-dessus de tous les partis. Le , l'état d'urgence est décrété à la suite des évènements en Bavière. Comme le prévoit la loi, on délègue à Geßler de manière provisoire le pouvoir exécutif. Deux ans plus tard, en 1925, Ebert meurt soudainement. Geßler se porte alors candidat à la succession du président. La candidature échoue avant tout à cause de la résistance que lui oppose le chancelier Gustav Stresemann. Paul von Hindenburg est élu et renouvelle à Geßler la confiance que lui portait Ebert. En , Geßler parvient à faire renvoyer Seeckt. Malgré de nombreux changements de gouvernement, il reste à son poste pendant huit ans.