С конца IX века известна церковная кафедра в Сервии, подчинённая Фессалоникийской митрополии. В конце X века крепость захватывает болгарский царь Самуил, в 1001 году её отвоевывает византийский император Василий II Болгаробойца. I. В 1018 году Василий II частично разрушил стены, чтобы крепость не служила убежищем для болгарских войск. В 1204 году Сервия была оккупирована франками, а в 1216 году оккупирована правителем Эпира Феодором Комнином Дукой. Михаил II Комнин Дука после битвы при Клокотнице (1230) занял крепость и сразу отремонтировал стены. В 1257 году Сервия захвачена никейским императором Феодором II Ласкарисом. В 1341 году Сервию занял сербский король Стефан Урош IV Душан, в 1350 году — византийский император Иоанн VI Кантакузин. В 1393 году Сервию завоевали войска султана Баязида I. Во время турецкой оккупации византийская крепость была заброшена, а нижний город и пригород за стенами были густо заселены. В середине XVII века, когда османский путешественник Эвлия Челеби проезжал через Сервию, он описал город следующим образом: