Den opprinnelige delen av kjøpesenteret ligger ved Farmannstorvet der Aase Texmon Ryghs Bjørn Farmann-monument ble reist i 1971. Dette torget ble tidligere kalt Høytorvet, et sted der hester fikk vann og fôr. Tidlig på 1800-tallet drev Laurentius Falckenberg et gjestgiveri og hotell der senteret i dag ligger ved Farmannstorvet. Seinere drev blant annet kjøpmann Rolf Vik kolonialbutikk i dette kvartalet. Bak Kremmerhuset ligger i dag den vesle Carl E. Paulsens plass oppkalt etter billedhuggeren og Tønsberg-patrioten Carl E. Paulsen (1897–1973).