Rudel được bay chiến đấu lần đầu vào lúc 3 giờ sáng ngày 23 tháng 6 năm 1941 khi Đức Quốc xã bắt đầu cuộc xâm lược Liên Xô. Trong vòng 18 giờ sau đó, ông đã hoàn thành 4 phi vụ. Ngày 18 tháng 7 năm 1941, ông đã được trao tặng Huân chương Chữ thập sắt hạng nhất. Ngày 23 tháng 9 năm 1941, ông và một phi công Stuka khác đã đánh chìm thiết giáp hạm "Marat", trong cuộc không kích vào cảng Kronstadt tại Leningrad, với một quả bom 1 tấn trúng ngay mũi tàu. Trong một phi vụ sau đó, Rudel còn đánh chìm hai tuần dương hạm và một khu trục hạm khác của Liên Xô.