V apríli 1941 sa Hrabak zúčastnil balkánskeho ťaženia, pričom lietal ako priama podpora nemeckým jednotkám, ktoré postupovali do Grécka. Dňa 22. júna 1941 začalo nacistické Nemecko s útokom na Sovietsky zväz. Hrabak pôsobil na východnom fronte od začiatku bojov. Spočiatku lietal na severnom fronte a nad Leningradom. Do 30. júla 1941 dosiahol 24. vzdušné víťazstvo. Dňa 5. marca 1942 mal na konte 30 zostrelov, 30. mája dosiahol 50. vzdušné víťazstvo a už 22. augusta mal celkovo 60 zostrelov. Dňa 1. novembra 1942 prevzal velenie JG 52. Hrabak vykonával ďalšie bojové lety aj napriek väčšiemu zaneprázdneniu veliteľskými úlohami, pričom 21. apríla 1943 dosiahol 80. vzdušné víťazstvo a 2. augusta si pripísal 100. zostrel. V novembri 1943 získal za svoje úspechy ku Rytierskemu krížu dubovú ratolesť. K 2. septembru 1944 dosiahla JG 52 pod Hrabakovým velením viac než 10 000 zostrelov, čím sa stala najúspešnejšou stíhacou leteckou jednotkou Luftwaffe.