La fortuna cambió cuando el terremoto de 1354 hizo que las murallas de Galípoli se desplomaran y la ciudad fue capturada por Solimán, el hijo mayor de Orhan. Su negativa a entregar la ciudad puso fin a la alianza entre Juan VI y los otomanos. Aquel no pudo impedir el retorno de Juan V a Constantinopla. Tras un efímero reparto del poder, Juan VI terminó por abdicar para retirarse primero a un monasterio y, luego, a Mistrá donde murió en 1383 al lado de su hijo Manuel Cantacuceno, déspota de Morea.