Kong Béla I av Ungarn overdro i det 11. århundre festningen til Serbia som en bryllupsgave (hans sønn giftet seg med den serbiske prinsessen Jelena), men Kalemegdan forble likevel i realiteten ungarsk, bortsett fra i perioden 1282-1319.