Μετά την άλωση της Κωνσταντινούπολης το 1204 από τους σταυροφόρους της Δ΄ σταυροφορίας η Λέσβος, μαζί με άλλα νησιά του Βορειανατολικού Αιγαίου, περνά στην ιδιοκτησία του Λατίνου αυτοκράτορα της Κωνσταντινούπολης, για να επανέλθει σε βυζαντινά χέρια μετά την ανακατάληψη της Πόλης από τον Μιχαήλ Παλαιολόγο το 1261. Το 1355 ο αυτοκράτορας Ιωάννης Ε΄ Παλαιολόγος έδωσε μεταξύ άλλων το νησί της Λέσβου στον Φραντζέσκο Γκατελούζιο ή Γατελούζο (Francesco I Gattilusio) ως ανταμοιβή για την υποστήριξη που του παρείχε ο Γατελούζος στον αγώνα του εναντίον του Ιωάννη ΣΤ΄ Καντακουζηνού. Ο Γατελούζος νυμφεύεται την αδερφή του αυτοκράτορα Μαρία Παλαιολογίνα το 1357 και  γίνεται κληρονομικός ηγεμόνας της Λέσβου. Η ηγεμονία των Γατελούζων στο νησί θα διαρκέσει 107 χρόνια μέχρι την κατάληψη της Λέσβου από τους Τούρκους το 1462. Κατά την διάρκεια της κυριαρχίας τους οι Γενοβέζοι Γατελούζοι προχώρησαν σε ενισχύσεις των κάστρων και των οχυρωματικών έργων στο νησί καθώς και στην ανέγερση νέων. Έτσι οικοδομείται στην περιοχή του Πολιχνίτου πύργος, ο «Παλαιόπυργος» της Βρίσας μεταξύ 1355-1375, και ο «Πύργος των Γατελούζων» στο χωριό Αμπελικό. Είναι τετράγωνοι πύργοι, που χρησίμευαν περισσότερο σαν παρατηρητήρια για τον έλεγχο όχι μόνο της γύρω περιοχής αλλά και της θάλασσας.