Nach der Eroberung Konstantinopels durch die Osmanen im Jahr 1453 wurde das Tor, das dem Gebäude den Namen gab ("İsa Kapısı", Jesus-Tor), 1509 bei einem Erdbeben schwer beschädigt. Zwischen 1551 und 1560 ließ der Wesir Hadim Ibrahim Pascha († 1562/63) das Gebäude dann zu einer kleinen Andachtsmoschee umbauen. Zuvor hatte er schon am Silivri-Tor () die Hadım-İbrahim-Pascha-Moschee gestiftet. Zur gleichen Zeit erweiterte Hofarchitekt Sinan den bereits bestehenden Komplex. Sinan errichtete eine Medrese (Koranschule) und ein Dershane (Paukschule). Als verbindendes Element stand die Kirche zwischen beiden Gebäuden. Die Lage dieser religiösen Institutionen in den dünn besiedelten Stadtvierteln entlang der Stadtmauern, in denen die Bevölkerung überwiegend christlich war, zeigt den Wunsch des Wesirs, eine Politik der Islamisierung der Stadt zu verfolgen. Im 17. Jahrhundert wurde der Komplex mehrfach durch Erdbeben beschädigt und 1648 restauriert.