Etter hvert som det ble fredeligere forhold ute i Europa, ble det for dyrt å holde en stor garnison ved Flekkerhus og bemanningen ble redusert til 10-12 mann. Skytset ble overført til Akershus og i 1561 ble det gitt ordre om å rive blokkhuset.