In Junie 1941 verhuis JG 52 na die Oostelike Front waar dit van Operasie Barbarossa gebly het tot die einde van die oorlog. Rall het sy eerste suksesse in die lugverdediging van Roemenië geëis. In November 1941 is hy 'n jaar lank doodgeskiet, gewond en ongeldig van vlieg. Op hierdie tydstip het Rall 36 oorwinnings behaal. Sy prestasies het hom in Desember 1941 die Duitse kruis in goud verdien.