Thoresengården ble bygget på tomten der Kaffistova sto. Det gamle bygget ble opprinnelig satt opp i 1860-årene for å huse bryggerimester Conrad Ohlsen. Ringerikes Sparebank hadde også sine lokaler der i årene 1899–1903. Kaffistova startet opp sin virksomhet der i 1910. Bygningen ble revet tidlig på 1960-tallet og erstattet av dagens forretningsbygg. Owe Nikolai Thoresen og Gunnar Berg (Thoresen & Berg) kjøpte den gamle eiendommen i 1943, men de to skilte lag i 1956, slik at Owe Nikolai Thoresen (Owe N. Thoresen) ble eneeier av Søndre torv 1.