Graf, jogador de futebol do pré-guerra e piloto de planador, ingressou na Luftwaffe e começou o treinamento de voo em 1936. Ele foi inicialmente selecionado para a aviação de transporte, mas posteriormente foi enviado para a "Jagdgeschwader" 51 (JG 51) em maio de 1939. Com a eclosão da guerra, ele estava estacionado na fronteira franco-alemã, fazendo patrulhas sem intercorrências. Foi então colocado como instrutor de voo estacionado na Romênia como parte de uma missão militar alemã treinando pilotos romenos. Graf realizou algumas missões de apoio terrestre nos últimos dias da invasão alemã de Creta.