Det siste huset som ble revet var Mortvedthuset – Torget 5, som ble revet i 1963. Det sto like ut- og ovenfor Hauge på Torget - Burger King fra 2013. Gradvis ble salget av frukt og grønnsaker overtatt av butikker, og torghandelen hadde tilbakegang.