Despoten Simeon prøvde å konsolidere sin posisjon hos det lokale aristokratiet ved å gifte seg med Nikeforos II’s søster Tomais Orsini. I 1355 døde den sebiske tsar Stefan, og dette svekket Simeons stilling i Epirus. Nikeforos II kom tilbake fra eksil i 1356 og tvang Simeon til å flykte. Han ble gjeninnsatt som despot, mens Simeon rivaliserte med sin nevø om makten i Serbia. I mellomtiden hadde albanske klaner tatt kontroll over store deler av landsbygda i Epirus. De hadde stor støtte blant befolkningen og Nikeforos ble i 1359 drept i kamper mot dem ved Arta.