Han ble mobilisert som soldat i 1944, og kom som del av de amerikanske styrkene tilbake til Europa ved slutten av andre verdenskrig. Enheten hans frigjorde Dachau konsentrasjonsleir (Hilberg var ikke selv til stede ved hendelsen). Ettersom han kunne tysk, ble han knyttet til det amerikanske dokumentasjonssenter, og kom blant annet over Adolf Hitlers personlige bibliotek i nazipartiets kontorer i München.