Sus padres fueron Gerhard Graf (1885-1951) y Anna Gölden (1885-1953). Su familia se mudó a Saarbrücken en 1922. Se unió en 1929 a un grupo católico disuelto por los nazis en 1933. En 1934 se unió al "Grauer Orden", otro grupo católico antinazi, y, al prohibírselo, formó el propio. En 1937 inició estudios de medicina y en 1938 arrestado por pertenecer al "Grauer Orden". Con el Anschluss se acopló a la amnistía y fue liberado.