Han gikk i tømmermannslære i Christiania parallelt med at han var elev ved Den kongelige Tegneskole. Han var arkitektstudent i ved Königliche Bauschule, Berlin 1842-46. Holtermann var deretter på studietur til Dresden, München, Tirol, Sveits og Strassbourg samt til byer langs Rhinen. I Berlin var han kjent som «Den norske Bjørn» på grunn av sin ruvende og kraftige kroppsbygning.