Det tok derfor tid før paret kunne flytte inn, og det skjedde 23. november 1855. Innboet ble kjøpt inn fra blant annet Hamburg, Paris og London. Huset brant også i den store bybrannen 12. juli 1868. Mens oppbyggingen pågikk bodde Hanne Thommesen på Frednes som var landstedet til svigersønnen Julius Smith. (Thor var nå død). Hun kjøpte nabobygningen til Thommesengården og slo disse sammen til byens største forretningsgård og privatbolig. Gården var ferdig oppbygget igjen i 1872. Det ble reist på regning til firmaet, og det ble forært til sønnen 16. november 1875, etter hennes død.