Na začátku druhé světové války během útoku na Polsko odlétal několik průzkumných misí ze základny u Wrocławi. Za úspěšné plnění úkolů získal Rudel 11. října 1939 Železný kříž druhé třídy. Po mnoha žádostech byl převelen k střemhlavým bombardérům. Po skončení přeškolení v Crailsheimu byl v květnu 1940 převelen k "I./StG 3", k původní jednotce, se kterou absolvoval začáteční výcvik, do Caen. Bitvu o Británii strávil v hodnosti nadporučíka v nebojové funkci, protože byl stále považován za špatného pilota. Později se vrátil k záložní jednotce v Štýrském Hradci, kde opět absolvoval výcvik ve střemhlavém bombardování. Poté přešel k "I./StG 2", ale jeho pověst ho stále pronásledovala a tak strávil v nebojových funkcích i invazi na Krétu.