Nach dem Vierten Kreuzzug fiel die Insel 1207 zunächst dem Herzogtum Naxos zu, wurde jedoch von der byzantinischen Flotte zurückerobert und von Kaiser Johannes III. Dukas Batatzes dem mit ihm befreundeten Geremia Ghisi überlassen. Dieser besiedelte die verödete Insel neu und befestigte den über die Chora aufragenden Felsen „Kastro“ zum Schutz gegen Piraten. 1269 wieder von Byzanz eingenommen, wurde Amorgos 1303 im Frieden zwischen Venedig und Kaiser Andronikus II. Palaiologos den Ghisi als Besitz garantiert. Schon 1309 bemächtigte sich jedoch Herzog Guglielmo I. von Naxos der Insel und übergab sie je zur Hälfte den Schiavi von Ios und den Grimani, denen bereits ein Teil Astypaleas gehörte. Piratenüberfälle vertrieben viele Bewohner, die daraufhin in das venezianische Kreta übersiedelten.