Ejendommen blev opført umiddelbart efter Københavns brand i årene 1797-88 for de to grundlæggere af handelsfirmaet "Andresen &amp; Schmidt", Peter Andresen (1754-1802) og Albrecht Ludwig Schmidt (1755-1821), som importerede vestindiske og kinesiske varer, herunder te og porcelæn. Den nyklassicistiske, fire-etagers ejendom med tilhørende pakhus, som havde facade mod henholdsvis Ved Stranden, Holmens Kanal og Admiralgade, dannede ramme om både deres virksomhed og private liv. Stueetagen rummede således kontorer, tredje sal husede ansatte og tjenestefolk, mens Andresen og Schmidt var bosatte i to herskabslejligheder på henholdsvis første og anden sal. Schmidt og hans hustru blev i 1818 portrætteret af C.W. Eckersberg i ejendommen, og særligt portrættet af Madam Schmidt betragtes som et hovedværk i dansk guldalderkunst.