Rundt 1395 gikk øya til Gian Galeazzo Visconti (1347–1402) som var første hertug i Hertugdømmet Milano (etablert 1395). Etter dennes død gikk øya til Gerhardo Appliano (1370–1405) og familien Appiani regjerte et par århundrer frem til 1735. Elba ble fortsatt stadig angrepet av tyrkere som Aruj, de raserte havnebyene. I 1548 fikk Cosimo I de' Medici lov av Karl V av Det tysk-romerske rike (sjef for Aragóns krone) til å bygge festningsverket på ruinene av Fabricia og Ferraia. De tre borgene Falcone, Stella og Linguella er forbundet med mur, og ble etter noe tid omdøpt til Portoferraio, det som er dagens hovedstad. Ellers var det på Elba at vitenskapsmannen Niels Stensen (1638–1696) gjorde sine geologiske funn som ga sporen til moderne krystallografi. Etter at Appiani-familien trakk seg tilbake i 1735, ble Elba overtatt av Kongedømmet Napoli. Etter freden i Lunéville 1801 ble øya gitt til Kongeriket Etruria som eide den ett år bare, for etter Fredstraktaten i Amiens 1802 ble den gitt til Frankrike.