Torget oppsto der Bugaardsgaden (Torggata) og Østre gade (Storgata) møttes. Når torghandel startet er ikke opplyst i kildene. Byens første ordfører i 1837, Ludvik Høst, kjøpte i 1845 Børsen, som sto midt på det nåværende torget. Torget 5 på hjørnet mot Jernbanealleen er et trehus med ark med sveitserdetaljer mot torget, bygget en gang mellom 1850 og 1890. Mot Jernbanealleen står et tilbygg fra 1933.