W czasach, gdy występowała jeszcze pod nazwą Six Grandfathers, góra znalazła się na trasie obranej w ramach duchowej podróży przez przywódcę plemienia Dakotów, Czarnego Łosia (ang. Black Elk), prowadzącej na szczyt Harney Peak. Na skutek kilku kampanii zbrojnych prowadzonych w latach 1876–1877, Stany Zjednoczone zyskały kontrolę nad tym obszarem, ale nadal kwestionuje się ich prawo do tych terenów w oparciu o traktat podpisany w Fort Laramie w 1868. Biali osadnicy amerykańscy znali górę pod różnymi nazwami, na przykład: Cougar Mountain, Sugarloaf Mountain, Slaughterhouse Mountain, czy Keystone Cliffs. Jej obecna nazwa została nadana podczas wyprawy poszukiwawczej Charlesa E. Rushmore’a, Davida Swanzeya (szwagier pisarki Laury Ingalls Wilder, autorki powieści "Domek na prerii"), oraz Billa Challisa.