Konstantinopolis'in 29 Mayıs 1453'te Osmanlı İmparatorluğu tarafından alınması sonrasında Pera'daki Cenevizliler, herhangi bir çatışma yaşanmadan koloniyi Osmanlı kontrolüne bıraktı. Osmanlı Padişahı II. Mehmed'in 1 Haziran 1453 tarihli fermanının Türkçe kopyasında, teslim alındıktan sonra şehrin tahkimatlarının yıkılmayacağı veya tahrip edilmeyeceği belirtilirken Yunanca kopyasında ise bu bölümdeki olumsuzluk eki sonradan eklenmişti. Mahmut Şakiroğlu bu durumun, ilk hazırlanan Yunanca kopyada tahkimatların yıkılması emredilse de Türkçe kopya hazırlandığı sırada yıkımların durdurulduğunu ve Yunanca kopyanın da buna uygun olarak düzeltilmesinden kaynaklandığını ifade eder. Bu dönemde kulenin üst kısımları tahrip edilirken Pera'ya yönelik fermanın ardından bu tahribat durdurularak Zağanos Paşa'nın başında bulunduğu çalışmalarla kule tekrar yükseltildi ve tepesindeki haç, Osmanlı bayrağıyla değiştirildi. II. Mehmed vakfiyesinde "Kulle-i Cedide" ("Yeni Kule") şeklinde bahsedilen kuleyi Evliya Çelebi "Seyahatnâme"sinde "Baş Hisar" olarak tanımlar ve kulenin II. Mehmed'in inşası olduğunu belirtir.