Men allerede på 1650-tallet var forfallet begynt, og da Jørgen Bjelke ble lensherre, guvernør og festningskommandant i 1654, fikk han tillatelse til utføre reparasjoner, men arbeidene ble ikke fullført.