Graf ble født i Kuchenheim. I 1922 flyttet familien til Saarbrücken, hvor faren drev en vinhandel. Han gikk på Ludwigsgymnasium, og elleve år gammel gikk han inn i Bund Neudeutschland. Dette var en katolsk organisasjon for unge menn, som etter nazistenes maktovertagelsen i 1933 ble forbudt.