Det er sannsunlig at fødestedet i Virginia var Richmond. Åtte år etter dro han med foreldrene og sin søster vestover til i nærheten av St. Louis. Da Bridger var tolv år gammel, døde moren. Året etter døde faren. Bridger arbeidet sannsynligvis så som håndlanger på en ferje på Missouri River for å livnære seg selv og søsteren. Så begynte han i lære hos en smed, men avbrøt dette i 1822.