Bolz var sønn av en urmaker, utdannet seg som jurist og avla juridisk doktorgrad i 1926. Han ble i 1933 utestengt fra advokatforeningen i Schlesien, etter å ha forsvart antifascister. Bolz emigrerte til Danzig, deretter Praha og til slutt Sovjetunionen. Etter 1941 arbeidet han i Sovjetunionen blant tyske krigsfanger. Han reiste tilbake til Tyskland (DDR) i 1947, arbeidet som journalist og ble medlem av Folkekammeret i 1949. Bolz gjorde deretter karrière i partiet og statsadministrasjonen og etterfulgte den arresterte Georg Dertinger som utenriksminister. I Bolz tjenestetid som utenriksminister inntraff både folkeoppstanden 17. juni 1953 og oppføringen av Berlinmuren.