Den 21. november 1354 seilte hans svigersønn Johannes V Palaiologos ut fra Tenedos hvor han hadde vært forvist i eksil, og marsjerte inn i Konstantinopel. Johannes VI hadde stadig mistet mer av sin popularitet, og folket hyllet Johannes V som keiser, men han lot Johannes VI fortsette og de to skulle regjere i fellesskap. Johannes VI vurderte det likevel slik at han trakk seg fra embetet og la diadem og regalia fra seg den 4. desember 1354.