Den ungarske Istvan (Stefan) 2. ødela festningen i 1127 og bygde en ny festning i bydelen Zemun på motsatt side av Sava. Festningen i Zemun ble imidlertid ødelagt i 1154 av den bysantinske keiseren Manuel I Comnenus (1143–1180) og deretter gjenreist på den høyden hvor den ligger i dag.