På Skansen var byens festning – blokkhuset, med kanoner og vakter. Det tjente både som utsiktspost og skytterstilling. Når det ble bygget første gang vet vi ikke. I 1622 ble det vedtatt at blokkhuset på Kuholmen skulle gjenoppbygges.