Heltzen grunnla i 1757 det Kongelige Norske Bergseminarium på Kirketorget. Han eide Dyrmyr gård, som han brukte som landeiendom. Han kjøpte en eiendom i Kirkegata, der han bygde en staselig bygning som sammen med to eksisterende bygninger framsto som Michael Heltzens bypalé. Paleet stod der rådhuset ligger i dag. Alle bygningene ble borte under bybrannen i 1810.