Raul Hilberg ble født 2. juni 1926 i Wien som sønn av Michael en småhandler av polsk-rumensk-jødisk opphav; begge foreldre stammet fra Galicja. Faren ble såret og dekorert under tjeneste i første verdenskrig. Han vokste opp i Østerrike. I mars 1938 opplevde han i Wien da det nasjonalsosialistiske Tyskland annekterte Østerrike. Faren ble kortvarig internert etter Krystallnatten 9. november 1938..