Han ble født i Weetmak i Deh Rahwod-distriktet i Uruzgan-provinsen i Afghanistan. Han er durrani-pasjtuner fra Popolzai-stammen. Under den afghansk-sovjetiske krigen var Baradar en del av Mujahedin-bevegelsen, hvor han kjempet imot de sovjetiske styrkene. Etter at de sovjetiske styrkene trakk seg ut i 1989, hjalp han mulla Mohammad Omar med å opprette Taliban i Kandahar i 1994.