Après l'armistice de 1918, le jeune officier s'engage dans le « Detachement Graf Stillfried », un corps franc, formé à Berlin pour lutter contre la révolte spartakiste. En 1919, l'unité est intégrée au «  » du «  ». Rudolf Schmundt y sert comme officier d'ordonnance. Comme son régiment est réorganisé en 1921, Schmundt rejoint le prussien, stationné à Potsdam. Officier de compagnie en 1924, il suit une formation en 1925. Promu "Oberleutnant" le , à près de , il est nommé un mois plus tard dans le du d'infanterie. Le de la même année, Rudolf Schmundt se marie à l'église de garnison de Potsdam. En , le lieutenant Schmundt suit une formation en vue de devenir officier d'état-major. Le de la même année, il est affecté à l'état-major de la  du «  », près de Königsberg en Prusse-Orientale. Schmundt est promu "Hauptmann" le . Après avoir suivi une nouvelle formation, Rudolf Schmundt est affecté, en , dans la « Heeres-Organisations-Abteilung », le département chargé de l'organisation à l'état-major général de l'Armée de terre. Il travaille sous les ordres de Wilhelm Keitel et Alfred Jodl, qui vont ensuite être appelés à exercer de hautes responsabilités dans l’état-major allemand. Le capitaine Schmundt est nommé commandant de compagnie le au «  » à Allenstein. Dans cette unité, Schmundt est promu "Major" le , l'année de ses . En de la même année, le commandant Schmundt est affecté à l'état-major de la d'infanterie mécanisée.