I 1671 fikk Kommercekollegiet ordre om å overta den, holde den vedlike og innrede sine kontorer der. Etter 1660 lå handel og skipsfart lenge nede og Børsen var enda i 1680 nærmest bare et pakkhus for tomme tønner.