Средином 12. века, византијски цар Манојло I Комнин га је користио као базу за своје ратове са Угрима и додатно га утврдио. У њему се Манојло два пута састао са рашким великим жупаном Стефаном Немањом, међутим за време владавине Андроника I освојио га је угарски краљ Бела III, да би га већ 1183. освојио Стефан Немања, који је обновио манастирску цркву светог Пантелејмона у граду. Он је 27. јула 1189. у Нишу дочекао светог римског цара Фридриха Барбаросу који је кренуо у Свету земљу током Трећег крсташког рата. Том приликом Стефан Немања је Барбароси предложио заједнички напад на Византију. Град је 1190. поново пао у византијске руке након Немањиног пораза у бици на Морави, а Срби су га освојили тек 1331. године, након победе над Бугарима код Велбужда.