Etter bybrannen i Bergen 19. mai 1702 ble det innkalt utenlandske fagmenn. Ernst foresto gjenreisningen av private og offentlige bygg i samarbeid med byggmester Hans Martin Heintz. I Bergen fikk Ernst oppført Manufakturhuset og Hagerupgården (Stiftsgården) i 1705.