Hans utdannelse hadde blitt avbrutt gjentatte ganger da familien flyttet rundt for å unngå å betale de høye kostnadene til undervisning. Hans far døde mens han var ung. En gang rundt 1845 flyttet hans mor Elizabeth familien til Brooklyn. Hans formelle skoleutdannelse ble avsluttet da han var 13 år i 1849. Her fikk han i ung alder ulike jobber på et advokatkontor og i et apotek. Til tross for sin unge alder forsørget han seg selv i femtenårsalderen. I løpet av denne tiden hadde hans bror Henry vervet seg i hæren og skrev hyppige brev fra sine opplevelser i den meksikansk-amerikanske krigen (1846–1848) og deretter krigen i California. Moren flyttet til California i 1853 og giftet seg med en av den avdøde ektemannens tidligere klassekamerater fra gymnaset. I slutten av 1854 kom Bret og hans søster Margaret til familien i California. De reiste den lange veien med dampbåt, en sjøreise som involverte en rekke ulykker, storm, revolusjon og skipsforlis, hendelser som siden fargela hans forfatterskap.