Etruskerne ble nedkjempet av romerriket som tok over noe etter 480 f.Kr. og øyas jern ble viktig for rikets militære opprusting, men også som ei ferieøy for eliten, litt som i dag. Etter hvert forfalt romerriket i dekadanse og Elba ble invadert av Longobardene. Navnet fremkommer først i dialogene nedskrevet av Gregor I den store (540–604) som også nevner biskop Cerbonius av Populonia (død 570) som ble tvangsflyttet til Elba av østgoteren Totila som rådde på fastlandet. Så kom etter hvert stadige angrep fra sarasenerene (muslimer), som da Mujahid al-Siqlabi etter å ha tatt Balearene og Sardinia i 1015, også tok Elba. Øya ble overtatt av byen Republikken Pisa på fastlandet litt før år 1100 e.Kr. og de forsterket festningsverkene ved Marciana, Rio og Capoliveri, steder der man forøvrig finner etruskiske akropolis. Eierskapet av Elba gikk til Republikken Lucca (1160–1805). Øya ble overtatt av byen Genova i 1284 etter slaget om Meloria i 1284 da Pisas krigsflåte ble senket, men allerede i 1292 var øya igjen pisansk.