『阿含経』では、三念・六随念・十隨念の第一である「仏隨念」のことを「念仏」という。この場合の「念仏」は、仏に対して想を留め、他の想をやめて心を乱さないことをいう。
1939年9月1日に戦争が勃発したときにJG 51はフランス国境に駐屯していた。軍曹（Feldwebel）となったグラーフは多数の哨戒飛行に出たが、「まやかし戦争」の期間中には敵機と遭遇する機会はなかった。1940年の初めにグラーフは訓練部隊に配属され、ここにいる間の5月1日に少尉に昇進した。10月6日にグラーフは第52戦闘航空団（JG 52）／第9飛行中隊に配属され、この当時の僚機はレオポルト・シュタインバッツが務めた。数日後、JG 52はルーマニア空軍のパイロット養成を手助けするためにルーマニアへ移転した。1941年5月にJG 52／第III飛行隊はクレタ島侵攻のメルクール作戦支援のためにギリシャに移動した。この期間、部隊はほとんどを地上攻撃任務のために飛行した。6月の初めに部隊は再びルーマニアに戻り、6月22日からバルバロッサ作戦支援に参加した。8月1日にJG 52はウクライナの前線基地に移動し、8月4日にグラーフはキエフ攻撃に向かうユンカース Ju 87の護衛中にポリカルポフ I-16を撃墜し最初の戦果を挙げた。この時、グラーフは自身の「射撃眼」を開眼し、更なる戦果を急速に積み上げていった。1942年初めにはグラーフの撃墜数は45機となり1月24日に騎士鉄十字勲章を授与され、3月23日にはJG 52／第9飛行中隊の飛行中隊長に任命された。その後間もなくしてグラーフは3週間に渡り48機を撃墜するという劇的な一連の戦果を挙げ、5月14日には8機の敵機を撃墜して5月17日に104機の戦果に達したところで騎士鉄十字勲章に「柏葉」を追加授与され、更に2機を撃墜してその僅か2日後に「剣」を追加授与された。8月からJG 52はスターリングラードに向けて前進する南方軍集団（Heeresgrüppe Süd's）を支援し、グラーフは速いペースで撃墜を重ねて9月23日の1日で10機を含む9月のみで64機の戦果を挙げた。同月中にグラーフは最初の200機撃墜のパイロットとなり、9月16日に騎士鉄十字勲章に「ダイヤモンド」を追加授与された。この後しばらくの間グラーフは、彼が撃墜された場合の士気の低下の可能性を懸念した最高司令部により作戦飛行への参加を禁じられた。グラーフはそれまでにも機関砲弾によるコックピットへの被弾や方向舵を半分打ち抜かれるなど数度の甚大な損害を乗機に受けたことがあった。1943年の初めに少佐になったグラーフはボルドー近郊に駐留する高等戦闘機パイロット学校の東部予備戦闘飛行隊（Ergänzungs-Jagdgruppe Ost）を指揮するためにフランスへ送還された。6月21日にグラーフは増加しつつある高高度で侵入して来る英空軍のデ・ハビランド モスキートとの戦闘を担当する高高度戦闘機部隊の第50戦闘航空隊（JGr 50：Jagdgruppe 50）の指揮官に任命され、この部隊でグラーフはカラヤ・カルテットを編成した。1943年にグラーフは自身の名声を利用してドイツで最高のサッカー選手全員を前線勤務から引き揚げさせることに影響力を行使し、彼らを「不足する専門技能者の補充」という口実でJGr 50に転属させた。この中には後に1954年のワールドカップで優勝した西ドイツ代表チームのキャプテンを務めたフリッツ・ヴァルターがいた。ヴァルターはグラーフ自身のチームの花形選手であり、JGr 50からJG 1、JG 11、JG 52へとグラーフの後について転属していった。JGr 50でグラーフは2機のボーイング B-17爆撃機を含む3機を撃墜した。1943年10月に部隊はゲーリングの命令により解隊となり第301戦闘航空団（JG 301）／第I飛行隊に吸収され、グラーフは大佐に昇進して11月11日には第11戦闘航空団（JG 11）の戦闘航空団司令に任命された。JG 11の任務は本土防衛（Reichsverteidigung）であり、グラーフは公式には作戦飛行任務が禁止されていたにもかかわらずこの後４カ月間に何とか6機を撃墜した。1944年3月29日にグラーフはノースアメリカン P-51戦闘機を1機撃墜したが格闘戦の混乱の中で別の1機と衝突してしまった。何とか脱出をしたもののグラーフは負傷し、暫くの期間入院しなければならなくなった。負傷から回復すると10月1日にいまだに東部戦線で活動していた古巣JG 52の戦闘航空団司令に任命された。この時期、ドイツ軍は退却中でグラーフが空中戦に参加する機会は無かった。1945年5月8日グラーフはハンス・ザイデマン将軍からの命令『グラーフとエーリヒ・ハルトマンはロシア人の捕虜になることを避けるために英軍占領地域に脱出飛行を行い、部隊の残りは赤軍に投降せよ』に背き、両人は苦楽を共にした部下・隊員家族・避難民などを見捨てて自分たちだけが戻ることをよしとせず、全員で移動し、部隊ごと米第90歩兵師団に投降した。しかし戦勝国間の取り決めにより5月24日にソ連へ引き渡された。降伏時点でグラーフの撃墜記録は212機に達しており、その中で西部戦線で挙げたのは6機の重爆撃機を含み10機であった。