Bridger hadde tre hustruer, alle indianere. Han kunne flere indianerspråk og var også sysselsatt som tolk og rådgiver, speider og veiviser. Etter at han i 1853 var blitt drevet bort fra eiendom av mormoner, trakk han seg tilbake til en farm han hadde kjøt nær Kansas City i Kansas. En tid senere ble han ansatt som speider av arméen og deltok i årene 1856-1857 i Utah-krigen mot mormonerne.