I 1857 kjøpte han Kirkegata 6, reiv den gamle gården og bygde et nytt treetasjers hus med plass både til forretning og bolig. Huset hadde speilglassruter i forretningslokalene, og det hadde byens første vannklosett. Firmaet og etterfølgeren Andresens Bank holdt til her fram til fusjonen med Kreditkassen 1980. Gården er i dag bevart som en del av Norges Banks hovedkontor. Fra 1838 eide Anderesen også gården Søndre Skøyen (Skøyen hovedgård), og denne var i familiens eie heilt til 1997.