Graf var amatørbryter og slakter. Han var en av de tidligste medlemmer i NSDAP (medlem nummer 8) og SS (medlem nummer 26), og ble Adolf Hitlers personlige livvakt fra 1920 til 1923.