Da keiser Andronikos II ble detronisert av sitt barnebarn Andronikos III Palaiologos i 1328 ble også Gregoras avsatt og trakk seg tilbake. Gregoras forble lojal mot den avsatte keiser Andronikos, men etter hans død fikk han tillit hos hans barnebarn Andronikos III og ble også oppnevnt til å gjennomføre de mislykkede forhandlingene om en gjenforening av den gresk-ortodokse og den katolske kirke med pave Johannes XXII i 1333.