Pierwsza forteca za „Złotą Bramą” została wybudowana za panowania Jana I Tzimiskesa. Zwano go "Pentapyrgion", ponieważ posiadał pięć wież. W trakcie czwartej wyprawy krzyżowej fort uległ zniszczeniu. Jan VI Kantakuzen w 1350 odbudował go. Fort zdobiło pięć wież, co wraz z dwiema wieżami „Złotej Bramy” dawało siedem, stąd nazywano go "Heptapyrgion" (Siedem Wież). W 1391 Jan V Paleolog został zmuszony przez sułtana Bajazyda I do zburzenia fortecy w zamian za nieoślepienie syna Jana V – Manuela. W 1434 za panowania Jana VIII Paleologa próbowano odbudować twierdzę, zostało to udaremnione przez sułtana Murada II.