Som barn ble Bragg ofte latterliggjort på grunn av rykter om at hans mor satt i fengsel for angivelig å ha myrdet en mann, og noen av disse ryktene sa at Bragg ble født i fengsel. Faren hans var en snekker og entreprenør som ble rik nok til å sende Braxton til Warrenton Male Academy, en av de beste skolene i delstaten. Bragg, opprinnelig fra Nord-Carolina, ble utdannet ved United States Military Academy i West Point og var artillerioffiser. Under borgerkrigen kjempet Bragg nesten like bittert mot sine lite samarbeidsvillige underordnede som han gjorde mot fienden, og de som sto under ham i rang gjorde flere forsøk på å få ham erstattet av en annen offiser. Under krigen deltok han i slaget ved Chickamauga. Dette slaget var det nest dødeligste etter slaget ved Gettysburg. Bragg og hans kone kjøpte en sukkerplantasje på 1600 dekar og de hadde 105 slaver på sin plantasje. Det finnes ingen bevis på at Bragg var en grusom slaveeier, men han hadde et rykte på seg som talsmann for militær effektivitet og han utviste steng disiplin. Plantasjen oppnådde lønnsomhet nesten umiddelbart, til tross for store boliglån på eiendommen.