Holtzmann var sønn av en gymnaslærer. Han studerte ved universitetene i Straßburg (Strasbourg) og Heidelberg. I 1922 ble han assistent hos Paul Kehr ved Det prøyssiske historiske instituttet i Roma. I 1931 ble han professor i middelalderhistorie ved Universitetet i Halle. Etter at den jødiske Wilhelm Levison måtte gå av som professor ved Universitetet i Bonn i 1935, ble Holtzmann hans etterfølger og virket her til 1953, da han vendte tilbake til Det tyske historiske instituttet i Roma som direktør. Han beholdt denne stillingen til 1961.