Etter sin Abitur i 1937 utførte han Reichsarbeitsdienst i et halvt år, og begynte så sine medisinstudier. I 1938 ble han arrestert sammen med andre medlemmer av Grauer Orden. Graf ble stilt for retten i Mannheim for sine aktiviteter i en forbudt organisasjon. Det dreide seg om deltagelse på ekskursjoner, campingturer og møter. Tiltalen ble etterhvert frafalt i forbindelse med et generelt amnesti for å feire Anschluss. Han hadde da sittet tre uker i varetekt.