La fortune tourna lorsque le tremblement de terre de 1354 fit s'écrouler les murailles de Gallipoli dont s'empara Soliman, le fils ainé d'Orkhan. Son refus de rendre la ville mit un terme à l'alliance entre Jean VI et les Ottomans. Celui-ci ne put empêcher le retour de Jean V à Constantinople. Après un éphémère partage du pouvoir, Jean VI finit par abdiquer pour se retirer d'abord dans un monastère, puis auprès de son fils Manuel Cantacuzène, despote de Mistra, où il mourut en 1383.