Altonagården lå utenfor Muren, der mange av byens mest formuende kjøpmenn bodde. Kjøpmannshusene hadde fasader ut mot gaten, med sjøboder ned mot Vågen.