V dubnu 1941 se Hrabak účastnil balkánského tažení, přičemž létal jako přímá podpora německých jednotek, které postupovaly do Řecka. 22. června 1941 začalo nacistické Německo s útokem na Sovětský svaz. Hrabak působil na východní frontě od začátku bojů. Zpočátku létal na severní části fronty a nad Leningradem. Do 30. července 1941 dosáhl 24 vzdušných vítězství. K 5. březnu 1942 měl na kontě 30 sestřelů, 30. května toho roku dosáhl 50. vzdušného vítězství a již 22. srpna měl na kontě celkem 60 sestřelů. 1. listopadu 1942 převzal velení JG 52. Hrabak vykonával další bojové lety navzdory většímu zaneprázdnění velitelskými úkoly, přičemž 21. dubna 1943 dosáhl 80. vzdušného vítězství a 2. srpna si připsal 100. sestřel. V listopadu 1943 získal za své úspěchy ke rytířskému kříži dubovou ratolest. K 2. září 1944 dosáhla JG 52 pod Hrabakovým velením více než 10 000 sestřelů, čímž se stala nejúspěšnější stíhací leteckou jednotkou Luftwaffe.