В 1437 году вместе с Константинопольским патриархом и представительной делегацией православных архиереев Иоанн отправился в Италию и провёл там более двух лет безвыездно, сначала в Ферраре, а потом на Вселенском соборе во Флоренции. По инициативе императора делегацию православных в спорах с католиками возглавил Марк Эфесский, возведённый по указанию Иоанна незадолго до отъезда из Константинополя в сан митрополита. Не раз на этих заседаниях обе стороны заходили в тупик и готовы были разъехаться. Но император запретил своим епископам покидать собор до принятия компромиссного решения. В конце концов, православные делегаты были вынуждены уступить католикам почти по всем принципиальным вопросам.