Apoteker Otto Sommer oppførte i 1770-årene to store bygninger i Kongens gate, først i Kongens gate 6 i 1770. Allerede i 1774 gikk han i gang med et enda større byggverk etter oppkjøp av flere mindre tomter ved nordøstre hjørne av Torget. Hans egen privatbolig sto ferdig i 1777. En pådriver for dette prosjektet skal ha vært Sommers kone Johanna, som var niese av en av byens rikeste kjøpmenn, Hilmar Meincke. Sammen med Harmonien, Stiftsgården og senere Hornemansgården gikk det inn i rekken av de store «trønderske trepaleer» som ble oppført omkring og i nærheten av torvet i 1770- og 1780-årene. Sommerveita langs tomtens nordside mellom Torget og Nordre gate har navn etter Otto Sommer.