Eldorado ble oppkalt etter den mytiske gullbyen El Dorado i 1840 av Kaptein William Baker som hadde bygget farmen sin i nærheten. Selv om navnet viser til et område med overflod av gull ble det ikke funnet gull i området før 1850-årene. Etter gullfunnet utviklet tettstedet seg til en gullrushby med høy befolkningsvekst og stedet fikk eget postkontor 1. august 1861. I 1870 hadde den lokale skolen 450 elever og 9 lærere. Etter at gullgravingen avtok gikk også befolkningen kraftig ned.