Ytterbium ble oppdaget i 1878 av den sveitsiske kjemikeren Jean Charles Galissard de Marignac (1817–1894). Han klarte å isolere grunnstoffet fra prøver av det tidligere oppdagede grunnstoffet erbium. Ytterbium ble oppkalt etter Ytterby.