I juni 1422 ledet Johannes forsvaret av Konstantinopel under Murad IIs beleiring, men måtte innse at Thessaloniki gikk tapt da hans bror Andronikos Palaiologos måtte overgi det til Venezia i 1423. For å skaffe seg allierte i kampen mot osmanene dro Johannes til Roma i 1431 og innledet forhandlinger med pave Eugenius IV om en samling av den ortodokse og den katolske kirke som hadde vært splittet siden det store skisma i 1054. Kirkesamlingen ble ratifisert av Konsilet i Firenze i 1439 der Johannes deltok med en delegasjon på 700 personer, deriblant patriarken av Konstantinopel og den innflytelsesrike filosofen George Gemistos Plethon. Uheldigvis døde patriark Josef II av Konstantinopel to dager senere, og kirken i Konstantinopel krevde at avtalen også måtte godkjennes av den østlige synode. Motstanden var overveldende i Konstantinopel, og avtalen ble ikke godkjent.