Og dessverre holdt ikke avtalen. Den største motstanden kom fra det greske folk og presteskap, som gjorde det klart for keiseren at hans unionspolitikk ikke ville finne noen tilslutning hos dem. Keiseren viste til den politiske nødvendigheten av unionen, men kunne bare sette den gjennom med makt. Han avsatte patriark Josef, som var motstander av unionen, og utnevnte Johannes Bekkos i stedet. Selv om keiseren var innenrikspolitisk svekket, var han styrket utenrikspolitisk. Karl av Anjous angrep ble oppgitt.