Lewis e Clark si accamparono sulla foce del fiume Vermillion vicino all'attuale città il 24 agosto 1804. Il giorno prima avevano ucciso il loro primo bisonte; e il giorno seguente, salirono sul Spirit Mound, secondo il diario di Clark. Nel maggio 1843, John James Audubon visitò la gola del Vermillion per vedere la vita degli uccelli. La città fu considerata per la posizione della prima istituzione mentale del Dakota del Sud (ora Human Services Center) nel 1873, anche se l'ospedale fu infine assegnato alla vicina Yankton. La città originaria era interamente al di sotto delle scogliere sulle rive del fiume Missouri, e tre quarti della città furono spazzati via nella grande alluvione del 1881.