Bizans İmparatorluğu ile ittifak hâlinde olan Cenevizliler 1267'de, Haliç'in kuzeyinde bulunan Galata'da "Pera" adlı bir koloni kurmuş, bu koloninin hâkimiyet alanını da zaman içinde Bizans tarafından verilen izinlerle genişletmişti. Tepesindeki haçtan ötürü o dönem "Kutsal Haç Kulesi" (Turris Sancte Crucis) olarak adlandırılan kule de, bu izinlere aykırı bir şekilde kuzeydoğu yönündeki tepeye doğru hâkimiyet alanı artırılarak 1335-1349 yılları arasında bölgede yapılan tahkimatların bir parçası olarak inşa edildi. İki devlet arasında o yıl patlak veren savaş, ertesi yıl imzalanan antlaşmayla sona ererken kulenin bulunduğu tepe Ceneviz kontrolüne bırakıldı. Konstantinopolis'in 29 Mayıs 1453'te Osmanlı İmparatorluğu tarafından alınması sonrasında Pera'daki Cenevizliler, herhangi bir çatışma yaşanmadan koloniyi Osmanlı'ya devretti. Kulenin de dâhil olduğu Galata'daki tahkimatlarda birtakım tahribatlar gerçekleştirilse de, Osmanlı Padişahı II. Mehmed'in fermanıyla kuledeki tahribatlar durduruldu ve tahrip edilen kısımlar yeniden inşa edildi. 1509'daki depremde hasar gören kule, 1510 itibarıyla onarıldı. 16. ve 17. yüzyıllarda, savaş esirlerini tutma yeri ve levazım ambarı, 18. yüzyıl itibarıyla Mehterhâne Ocağı ile yangın gözleyiciler tarafından bir yangın kulesi olarak kullanıldı.