Comme patriarche uni à Rome, en application de l'Union de Florence, Grégoire rencontre l'opposition des adversaires de l'Union, qui estiment que cette Union a été signée pour des raisons politiques (obtenir l'aide de l'Occident contre les Turcs qui menacent l'existence de l'empire) et que la foi orthodoxe a été sacrifiée. Ces oppositions sont si fortes qu'à la mort de Jean VIII, Constantin XI renonce à se faire couronner empereur à Constantinople. Devant les tensions croissantes, Grégoire finit par s'enfuir à Rome en 1451, auprès du pape Nicolas V.