La fortaleza se convirtió en sede de un santuario y de un castillo bizantino, hasta que en 1306 fue conquistada por los Caballeros de San Juan, quienes construyeron en ella su castillo y la iglesia de Santa María del Fileremo, de estilo gótico provenzal.