Henry Graff meldte seg til tjeneste i U.S. Army kort etter angrepet på Pearl Harbor i desember 1941, og steg i gradene fra menig til i Signal Corps frem til han ble dimittert i 1946. Som følge av å ha studert japansk på Columbia University ble han satt til kryptoanalyse for japansk i Signal Intelligence Service (SIS) (forløperen til National Security Agency). I denne egenskap leste han utenlandske koder og cifre, i særdeleshet det senere så berømte Purple code.