Tijdens de laatste fase van de slag om Engeland werd Rall met zijn eskader (8./JG52) overgeplaatst naar Roemenië. Hier zou hij de olievelden beschermen tegen mogelijke Sovjet- aanvallen. Na het begin van invasie van Rusland haalde hij in de eerste maanden alleen drie Sovjetbommenwerpers neer, maar naarmate hij meer vloog zou het aantal neergeschoten tegenstanders omhoog gaan; hij schoot het ene toestel na het andere uit de lucht. Van zijn 275 overwinningen vielen er 272 aan het Oostfront (de andere drie betroffen één neergeschoten Curtiss P-36 op 18 mei 1940 bij Metz in Noord-Frankrijk, en een P-38 Lightning en P-47 Thunderbolt op respectievelijk 29 april 1944 ten noorden van Hannover en 12 mei 1944 bij Wetzlar).