I 1936 ble Graf valgt inn i Reichstag. I 1937 ble han Oberführer, og den 20. april 1943, Hitlers fødselsdag, ble han SS Brigadeführer.