7年升为中校后，舍尔纳成为了新生德军的第98山地步兵团团长，并曾受命准备入侵奥地利。
第二次世界大战.
西线.舍尔纳和他的山地步兵团在波兰战役中表现出色，特别是指挥第98和第99山地步兵团在9月12日突击利沃夫，并以少量兵力成功防御了利沃夫以东波军的攻击，也因此军阶升到上校。德军不久后开辟了西线战线，舍尔纳担任了新成立的第6山地步兵师师长，负责自莱茵河对面的孚日山向东部突击。法国战役结束后舍尔纳本来要参加海狮计画入侵英国的行动，却因为德国不列颠空战的失败而作罢