久后开辟了西线战线，舍尔纳担任了新成立的第6山地步兵师师长，负责自莱茵河对面的孚日山向东部突击。法国战役结束后舍尔纳本来要参加海狮计画入侵英国的行动，却因为德国不列颠空战的失败而作罢。1940年8月舍尔纳晋升少将，接着在1941年率领第6山地步兵师在巴尔干战区参与对希腊和英国军队的进攻，突破了希腊的，1941年4月20日舍尔纳获得骑士铁十字勋章。4月27日他的前锋部队在希腊奥林帕斯山和卫城升起德国军旗，为德军第一个在该地区佔领的师。
东线.1941年6月德国入侵苏联，开辟了东线战场