Han gjorde imidlertid den feilen å la Genova få overta provinsen Tenedos. Guvernøren der nektet å gi fra seg makten og lot heller genovesernes motstandere i Venezia overta provinsen. Samme år, i 1377, kronet Andronikos sin unge sønn Johannes VII Palaiologos til medkeiser. I 1379 klarte Johannes V og sønnen Manuel å rømme til sultan Murad, og med hjelp fra venetianerne fikk de styrtet Andronikos. Med fortsatt støtte fra Venezia ble Johannes V gjeninnsatt på keisertronen med Manuel som medkeiser. Andronikos flyktet til Galata og oppholdt seg der til 1381, da han, på tross av sitt tidligere forræderi, ble innsatt som medkeiser og tronarving. Han fikk også personlig makten i byen Selymbria.