Moc Osmanov medzitým rástla a v bitke pri Marici dokonca porazili Srbov. Keďže pomoc zo Západu neprichádzala, uznal osmanského sultána Murada I. za svojho suzeréna. S vazalským pomerom nesúhlasil jeho syn Andronikos IV., ktorý Jána v roku 1376 zvrhol. Hoci sa Ján s pomocou Benátčanov a Osmanov v roku 1379 opätovne dostal k moci, musel učiniť niekoľko ústupkov. Jeho syn Andronikos dostal ako údel Trákiu, Manuel Solún a Theodoros Moreu. V ríši tým vznikol akýsi kolektívny model správy. V roku 1390 proti Jánovi v Konštantínopole povstal jeho vnuk Ján VII., ktorého povstanie však bolo po pár mesiacoch potlačené. V roku 1391 Ján zomrel a novým cisárom sa stal Manuel.