Fu uno dei componenti della spedizione condotta da Meriwether Lewis e William Clark (1804-1806). Nonostante aver preso parte ad una delle spedizioni più famose della storia, egli è ancora oggi ricordato per le sue esplorazioni effettuate dopo essere stato congedato con onore dall'esercito nel 1806. Durante l'inverno del 1807-1808, Colter divenne la prima persona di origine europea ad essersi addentrata nella regione dell'attuale parco nazionale di Yellowstone e del Teton Range. Colter trascorse molti mesi da solo nelle "terre selvagge" ed è considerato il primo "trapper".