Graf kom seg fra skadene, og ble atter med i nazistpartiet etter at Hitler ble løslatt fra fengselet. I desember 1924 ble han innvalgt i bystyret i München, og fortsatte opp gjennom årene som NSDAP-politiker. Ved den tid da Hitler kom til makt i 1933 var han blitt Sturmbannführer i Heinrich Himmlers SS - tilsvarende majors grad i Wehrmacht.