结束后威玛共和国政府意欲对国内的共产主义者进行打击，舍尔纳加入了政府军，担任第21猎兵营营长，先后在慕尼黑和鲁尔地区与共产党人作战。在他的出色表现下，舍尔纳被配入陆军第19步兵团。1922年舍尔纳参加军区考试合格，并于1926年7月1日升为上尉并担任驻兰茨胡特第19猎兵营的一名连长。1931年舍尔纳成为第一位被派往义大利军队担任翻译官的德国军人，之后又担任德勒斯登军校的战术教官，舍尔纳在担任教官期间严格训练了武装党卫军，使其能有与德意志国防军并肩作战之能力。1934年舍纳尔升为少校，1935年担任参谋部人事