805 schenkte Karl der Große die Insel dem Kloster Tre Fontane in Rom. Später war sie im Besitz verschiedener toskanischer Familien (insbesondere der Aldobrandeschi) und der Stadt Perugia. 1241 zerstörte hier bei der Seeschlacht von Giglio die sizilianische Flotte von Friedrich II. eine Flotte der Genueser. Von 1264 bis 1406 war Giglio im Besitz der Pisaner, dann ging es an die Medici. Bis 1799 wurde die Insel mehrfach von den Sarazenen angegriffen, so im Jahr 1544 durch den Piraten Khair ad-Din Barbarossa, wobei mehr als 700 Einwohner getötet oder als Sklaven deportiert wurden. Die Medici-Familie siedelte darauf Bevölkerung aus der Region Siena auf der Insel an, ließ Küstentürme erbauen und die Stadtmauern vom Ort Castello verstärken. Die Piratenangriffe in den toskanischen Gewässern setzten sich bis 1799 fort.