Durante o Império Latino (o período que se seguiu à conquista ocidental de Constantinopla em 1204 durante Quarta Cruzada), o complexo foi a sede do clero veneziano. Durante este período o famoso ícone "Hodegetria", segundo a lenda pintado por São Lucas, esteve guardado no mosteiro, o qual também foi usado como palácio imperial pelo último imperador latino, Balduíno II de Constantinopla. Depois da reconquista bizantina da cidade pelos paleólogos o mosteiro voltou a ser ocupado por monges ortodoxos. O mais famoso membro do convento dessa época foi "Gennadius Scholarius" (), o primeiro patriarca de Constantinopla após a conquista turca, .