Po zajęciu Konstantynopola przez łacinników w 1204 kompleks zabudowań przekazano duchownym z Wenecji. Klasztor był również używany jako pałac cesarski przez ostatniego cesarza łacińskiego – Baldwina II. Po odzyskaniu miasta przez Paleologów do klasztoru powrócili mnisi greccy. Najbardziej znanym spośród nich był Gennadiusz II Scholar, który opuścił klasztor Chrystusa Pantokratora aby zostać pierwszym Ekumenicznym Patriarchą Konstantynopola po zdobyciu miasta przez Turków.