舍尔纳和他的山地步兵团在波兰战役中表现出色，特别是指挥第98和第99山地步兵团在9月12日突击利沃夫，并以少量兵力成功防御了利沃夫以东波军的攻击，也因此军阶升到上校。德军不久后开辟了西线战线，舍尔纳担任了新成立的第6山地步兵师师长，负责自莱茵河对面的孚日山向东部突击。法国战役结束后舍尔纳本来要参加海狮计画入侵英国的行动，却因为德国不列颠空战的失败而作罢。1940年8月舍尔纳晋升少将，接着在1941年率领第6山地步兵师在巴尔干战区参与对希腊和英国军队的进攻，突破了希腊的，1941年4月20日舍尔纳获得骑士铁