Etter å ha blitt presteviet i 1928, var Bolte til å begynne med kapellan forskjellige steder i Eichsfeld. I 1931 ble han prefekt ved i Heiligenstadt og i 1941 dekan og prost ved .