Bygningen ble oppført i høykonjunkturen under Napoleonskrigene. Som følge av økonomiske nedgangstider, måtte Mathias Knutzen i 1822 selge bygningen til konsul Gulow Andorsen for 1 500 speciedaler. Dette var en liten sum sammenlignet med at Knutzen selv hadde brukt 44 000 speciedaler på oppføringen. Bygningen fikk nå sitt nåværende navn etter Gulow Andorsen.