Da østerrikerne tok over Kalemegdan i 1688, startet de straks byggingen av en moderne festning etter planene til ingeniøren Andrea Cornaro. Tyrkerne kom imidlertid tilbake to år senere og overtok festningen igjen. Under beleiringen traff en tyrkisk bombe et av tårnene i nedre by. Dette medførte brann i kruttlageret og dette eksploderte med en voldsom kraft. Hele festningen til despoten Stefan Lazarevic ble ødelagt og mer enn tusen mennesker mistet livet. Ingeniør Cornaro ble deretter engasjert av tyrkerne og byggingen av festningen fortsatte.