ヨハネス6世カンタクゼノス
しかし、カンタクゼノス家の勝利は自力によるものではなくトルコ人の軍事力に頼ったものであり、彼らはその報酬として帝国に残された数少ない領土トラキアを荒らし回るなど、帝国民を恐怖に陥れた。しかも彼らは1354年3月、地震によって崩壊し住民のいなくなったダーダネルス海峡沿いの都市カリポリスを占拠し遂にヨーロッパ側に最初の拠点を獲得してしまう。また、首都市民は正統なパレオロゴス家に対する忠誠心が強く、ヨハネス6世の行為は簒奪と専横として非難を浴び、その地位は揺らいだ。ヨハネス5世はこうした状況を利用し、同年ジェノヴァ人貴族フランチェスコ・ガッティルシオ(この功績により、同帝からレスボス島を与えられた)の支援を受けてコンスタンティノポリスに帰還した。
12月9日、ヨハネス6世は妻エイレーネーと共に隠退し修道院入りする事となった。その後(1361年頃)次子マヌエルが統治するモレアス専制公領に赴き、時折首都を訪問する生活をしながら残る生涯を、主として神学関係の著述に捧げた。1376年のアンドロニコス4世パレオロゴス反逆の際には首都にいて、一時拘束されている。
1383年6月15日、ミストラスにて死去。