Mens Johannes var i Konstantinopel dro den georgiske kong David VI Narin mot Trapezunt og beleiret hovedstaden. Han klarte ikke å ta selve byen, men georgierne okkuperte flere provinser. Johannes forlot Konstantinopel 25. april 1282 sammen sin kone. Ikke lenge etter hjemkomsten ble han møtt med trusler mot sitt styre. Den første kom fra hans bror, den tidligere keiser Georgios Komnenos som kom tilbake til Trapezunt, sannsynligvis etter å ha blitt sluppet fra fra fengsel hos Abaqa Khan, herskeren i det mongolske Ilkhanatet. Georgios prøvde seg på et kupp, men han mislyktes i å overta makten. Deretter, i 1284, skal Johannes ha blitt utfordret av sin halvsøster Theodora Megala Komnena, datter av Manuel I og hans (sannsynligvis) elskerinne Rusudan av Georgia. Hun skal ha fått Johannes deportert, muligens til befestningen Tripolis i regionen Pontor på svartehavskysten. Kort tid etter, i 1285, skal Theodora ha flyktet fra Trapezunt. Årsaken er ikke kjent. Johannes ble så gjeninnsatt på keisertronen.