Byggingen av Sommergården ble også påbegynt i 1774. Den ble oppført som privatbolig for hoffagent og apoteker Otto Sommer, og sto ferdig i 1777. Sommergården ligger ved Torvets nordøstre hjørne.