Безпосередньо перед початком Другої світової війни Шернер отримав звання оберста. Як командир 98-го єгерського полку брав участь у Польській компанії Вермахту, де особливо відзначився 13 вересня 1939 в боях під Львовом, під час опануванні висот біля міста. Потім на чолі свого полку у Французькій кампанії бився на території Бельгії та Франції.