Øya fikk i årene som gikk stadig oftere besøk av oppdagelsesreisende, og samtidig ble stadig flere statuer veltet av lokalbefolkningen. I 1862 tok peruanske slavedrivere rundt to tusen øybeboere til slaver og fraktet dem til Peru, inkludert hele høvdingeslekten og kongen, presten og så godt som alle lærde menn. 900 av slavene døde på ett år under kummerlige forhold i guano-bruddene på kysten av Peru. Etter offentlige protester, blant annet fra den franske biskopen av Tahiti (støttet av britiske og franske regjeringer), ble hundre av dem satt på et skip tilbake til Påskeøya noen år etter. 85 av 100 døde på overfarten av kopper, og de 15 som overlevde var smittet. Disse 15 smittet de øvrige øyboerne og utraderte nesten befolkningen på øya. Da noen misjonærer kom til øya i 1864 var alle statuene veltet og folketallet på flere tusen i 1722 var redusert til 111 i 1877. Da befolkningen ble sterkt redusert gikk mye av øyas muntlige historier tapt, inkludert historien om statuene.