Simeon Uroš’ regjeringstid ble avbrutt kort tid etter Stefan Dušans død i 1355. Hans svoger Nikeforos II Orsini, den avsatte despoten i Epirus, dukket opp igjen i Hellas etter sitt eksil og fikk støtte fra adelen I Thessalia og Epirus. I 1356 kom Nikeforos til Epirus og tvang Simeon Uroš å flykte til Kastoria. Simeon utropte seg deretter til «keiser av serberne og grekerne» i rivalisering med sin nevø Stefan Uroš V (sønn av Stefan Dušan).