Karlshamns kastell kommer att ' indragas ' eller raseras.