Hornemansgården og den litt eldre Sommergården på motsatt side av Kongens gate danner østveggen i Torget og utgjør siste rest av det gamle bygningsmiljøet rundt det. Sammen med Stiftsgården er de Trondheims siste gjenværende paleer fra 1700-årene. De var begge sterkt truet i årene omkring 1970, da Riksantikvaren fremmet fredningssak. Sommergården ble kjøpt av Trondhjems Sparebank som tomt for et planlagt nybygg, og rivning fikk solid politisk støtte. Siden det var besluttet å bygge ny politistasjon på Kalvskinnet tok fremtredende politikere til orde for også å rive Hornemansgården «for å få Vår Frue kirke bedre fram i bybildet». Svaneapoteket ble reddet ved et makeskifte og fredet i 1983. Hornemansgården overlevde fordi kulturminnevernet fikk bredere oppslutning. Den ble fredet i 1984 og fungerer nå som eldresenter.