Etter våpenstillstanden i Compiègne som avsluttet verdenskrigen, og et kortere virke i Grenzschutz ved Beuthen, ble Rohleder inntatt i det foreløpige Reichswehr. Der tjenestegjorde han i Reichswehr-Infanterie-Regiment 10 og deretter i Infanterie-Regiment 8 i Reichswehr.