Tre innfødte som hadde blitt ført bort fra ildlandet på «Beagles» forrige reise hadde blitt trent som misjonærer og ført tilbake. De hadde blitt i England over de siste to år, men slekten deres virket på Darwin til å være «elendige degraderte villmenn». Ett år senere var «misjonsvirksomheten» oppgitt og Jemmy Button, som var den eneste villig til å snakke med dem, sa at han foretrakk sitt tidligere harde liv og ville ikke være med tilbake til England. Ut fra denne erfaringen kom Darwin til å tenke at mennesker ikke var så fjernt beslektet fra dyr som det hans venner og kolleger mente. Han så på forskjellene som kulturelle fremskritt mot sivilisasjon heller enn raseforskjeller. Han avskydde slaveriet han observerte andre steder i Sør-Amerika og så med tristhet på påvirkningen europeisk innflytting hadde på aboriginer i Australia og maoriene i New Zealand.