Faren Henrik (1683-1728) fikk borgerskap som kjøpmann i Bergen, men bodde på Gamlem i Borgund. Det var på denne tida ingen kjøpstad på Sunnmøre, Henrik Holtermann var en «uteligger» ved at han hadde løyve til å ligge ute i distriktet (i såkalt «kræmmerleier») og handle med bøndene der. Faren Henrik Holtermann eide Brunholmen 1708-1727 (enken Mein Stochberg kjøpte i 1730 Djuvika og flyttet dit), Hans Holtermann satt med Brunholmen i 1732-1738. Brunholmen er en av de eldste handelsstedene i det som ble sentrum av Ålesund by. Brunholmen var vertskap for Christian VI da han med et stort følge reiste langs kysten i 1733. Holtermann var handelsmann i Molde 1746-1750 (eiendommene i Molde ble solgte for 1080 riksdaler høsten 1749), og i Djuvika (Djupvika) i Vegsund, Borgund. På 1750-tallet var Holtermann den ledende klippfiskeksportøren i Molde.