Erbium ble oppdaget i 1843 av den svenske kjemikerern Carl Gustaf Mosander. Mosander undersøkte stoffet fra mineralet gadolinitt, og separerte det i tre forskjellige oksider som han kalt yttria, erbia og terbia. På dette tidspunktet var imidlertid erbia og terbia forvekslet, og i 1860 ble terbia omdøpt til erbia, og i 1877 ble det som opprinnelig var kalt erbia omdøpt til terbia. Det antatt rene erbiumoksidet viste seg å også inneholde grunnstoffene scandium, holmium, thulium og ytterbium, noe som senere ble vist av den franske kjemikeren Marc Delafontaine. Rent erbiumoksid ble fremstilt i 1905 av den franske kjemikeren Georges Urbain og den amerikanske kjemikeren Charles James uavhengig av hverandre. Forholdsvis rent metallisk erbium ble først fremstilt i 1934 av de tyske kjemikerne Wilhelm Klemm og Heinrich Bommer. Metoden de brukte var å redusere en blanding av erbiumklorid og kaliumklorid med kalium-damp.