Rudelova kariéra pilota střemhlavého bombardéru začala 23. června 1941, den po napadení SSSR Německem. Za své úspěchy byl už po méně než měsíci, 18. července, vyznamenán Železným křížem I. třídy. 23. září 1941 byla během útoku na kronštadtský přístav zásahem jeho 1000 kg bomby do muničního skladu potopena sovětská bitevní loď Marat. Do konce prosince, kdy byl přeložen jako instruktor střemhlavého bombardování do Štýrského Hradce, odlétal Rudel celkem 500 bojových misí a v lednu 1942 získal Rytířský kříž. 10. února 1943 se stal i prvním pilotem, který odlétal 1000 bojových misí. V tomto období mu jako zkušenému letci přidělili experimentální letku strojů Ju 87G „Kanonenvogel“, působící nejprve v oblasti Brjanska, poté u Černého moře, kde potopil větší množství menších dopravních člunů.