Han etablerte egen arkitektvirksomhet i Christiania i 1846. Holtermann tegnet nye kirkebygg og dokumenterte eldre bygg. Georg Andreas Bull var trolig assistent hos Holtermann før Bull etablerte eget kontor. Holtermann var formann i Polyteknisk forening 1862-1865.