На месту некадашњег римског утврђења, подигли су Срби у средњем веку утврђени град Жрнов или Жрнован који Османлије заузимају 1442. године, ојачавши му тада источни и јужни део бедема. Међутим већ 1444. године бивају приморани сегединским миром на обнову српске деспотовине и враћање тврђава Србима. Међу враћеним градовима поред Голупца, Крушевца и Новог Брда, нашао се и Жрнов. После смрти Сибињанин Јанка и Ђурђа Смедеревца 1456. године Османлије поново крећу на Србију и 1458. године заузимају Жрнов у покушају да освоје Београд, што им не полази за руком. После тога Ходи паша проширује тврђаву додатним бедемом и сувим шанцем створивши од Жрнова тврђаву "за узнемиравање Београда" који се налазио у мађарским рукама. Од ове улоге тврђаве односно имена "Хавала", што значи сметња, који су му Османлије наденуле цела планина је добила име "Авала". Мађари су 1515. године покушали да заузму Жрнов уз помоћ артиљерије, али се тај њихов покушај окончао потпуним поразом и губитком тешке артиљерије. Са падом Београда 1521. године Жрнов почиње да губи свој стратешки значај.