През следващите години Филипопол е засегнат от засилващата се политическа нестабилност в региона. През 1193 година управителят на филипополската тема Константин Ангел Дука се обявява за император, но е заловен и ослепен. През 1196 година за управител на областта е назначен българският болярин Иванко, но през 1198 – 1200 година той управлява самостоятелно в съюз с България. През 1204 година Четвъртият кръстоносен поход превзема Константинопол и поставя началото на Латинската империя, а Филипопол става столица на васално на императора херцогство. През 1205 година кръстоносците са принудени да напуснат града, опожарявайки част от него, а малко по-късно той е превзет с нови разрушения от българския цар Калоян. Градът остава под български контрол до Филипополската битка през 1208 година, когато херцозите успяват отново да наложат властта си.