Заради стратегическото си местоположение крепостта е изграждана, рушена и възстановявана многократно от различни завоеватели. По време на скопското земетресение от 1963 г. Калето е повредено, но консервационните и реставрационни работи след това укрепват кръглите и квадратни кули, като дори и се дострояват участъци от крепостта.