Na začiatku druhej svetovej vojny počas útoku na Poľsko odlietal viacero prieskumných misií zo základne z mesta Vroclav. Za úspešné splnenie úloh Rudel 11. októbra 1939 obdržal Železný kríž druhej triedy. Po mnohých žiadostiach bol prevelený k strmhlavým bombardérom. Po skončení precvičenia v Crailsheime bol v máji 1940 prevelený k I./StG 3 do Caen, pôvodnej jednotke, s ktorou absolvoval začiatočný výcvik. Bitku o Britániu strávil v nebojovej funkcii ako nadporučík, pretože ho stále považovali za zlého pilota. Neskôr sa vrátil k rezervnej jednotke v Štajerskom Hradci, kde opäť absolvoval výcvik v strmhlavom bombardovaní. Neskôr prešiel k I./StG 2, no povesť zlého pilota ho stále prenasledovala a tak strávil v nebojových úlohách aj inváziu na Krétu.