Den 18. februar 1943 ble han sammen med sin søster Anneliese arrestert i München. Mens Hans og Sophie Scholl og Christoph Probst, som ble arrestert samme dag, ble henrettet allerede 22. februar, hadde man ikke like sterke bevis mot Graf. Men den 19. april 1943 ble han dømt til døden av Volksgerichtshof. Anklagen var høyforræderi, svekkelse av troppenes moral og fremme av fiendens sak. Den 12. oktober 1943 ble han henrettet ved giljotinering i Stadelheimfengselet i München. I løpet av flere måneder med forhør hos Gestapo hadde han ikke angitt andre medlemmer.