Etter å ha gått i lære som kjøpmann i Bremen og hatt en stilling som leder av transportavdelingen i i Berlin vendte Schwerin i sommren 1922 tilbake til Reichswehr. I første omgang gjorde han tjeneste i 1. (prøyssiske) infanteriregiment i Königsberg. Etter å ha gjennomført Det prøyssiske krigsakademiet tjenestegjorde han som oberstløytnant og leder av gruppen . Etter å ha kritisert Adolf Hitler ble han forflyttet og gjorde tjeneste som stedfortredende sjef for .