I 1525 ble torget rammet av en storbrann. Etter brannen ble Fiskartorget delt opp i flere tomter som ble bebygget med bindingsverkshus av tre og stein. I årene 1637-1641 var det totalt 21 skur som ble leid ut til russiske handelsmenn.