Rall első bevetését a franciaországi hadjárat alatt teljesítette. 1940. május 18-án megszerezte első légi győzelmét egy Curtiss Hawk felett. Az angliai csata alatt a JG 52-t áthelyezték Calais-be. Július 25-én kinevezték hadnaggyá. Ő irányította a 8./JG52-t. Augusztus elsején főhadnaggyá léptetik elő. Rall következő szerepe a Balkáni hadjáratban volt1941 tavaszán. 1941 májusában részt vett a Merkur hadműveletben, Kréta légi úton való megszállásában is. A sikeres hadmozdulat után a JG 52-t áthelyezték Romániába, az olajmezők védelmére. 1941. júniusában, a Barbarossa hadműveletben, 3 nap alatt 3 győzelmet aratott. 5 nap alatt, Rall és köteléke 50 szovjet gépet lőtt le. Október közepén már 12 igazolt légi győzelemmel rendelkezett.