Ytterbium ble oppdaget av den sveitsiske kjemikeren Jean Charles Galissard de Marignac i 1878. Marignac fant et til da ukjent stoff i en type oksid som den gang ble kalt erbia. Han ga det nye stoffet navnet ytterbia, etter Ytterby gruve ved Stockholm, Sverige, hvor mineralet var funnet. Marignac antok at ytterbia inneholdt et inntil da ukjent grunnstoff som han kalte ytterbium. Ytterbia skulle imidlertid vise seg å inneholde to nye grunnstoff.