Rudel ble født i tysk Schlesien. Etter en kort utdannelse vervet han seg til det tyske flyvåpenet i 1936 som befalsskoleelev. Han fikk opplæring som rekognoseringsflyver, mest på grunn av hans dårlige utdannelse.