Dostum wurde in eine einfache Bauernfamilie in einem Dorf nahe der Stadt Scheberghan geboren. Im Jahr 1973 trat er in die Armee ein und wurde gleichzeitig Mitglied der Demokratischen Volkspartei Afghanistans. Seit seinem Beitritt unterhielt er ein enges Verhältnis zu Babrak Karmal, dem Führer der moderaten Partscham-Fraktion der afghanischen Kommunisten und späteren afghanischen Präsidenten. Zur Zeit der Saurrevolution im April 1978 kommandierte er eine eigene bewaffnete Einheit, die bei den Gasfeldern in Scheberghan stationiert war. Als nach der Revolution der radikale Khalq-Flügel der Partei die Macht übernahm und die Parteiführung von Partschamis gesäubert wurde, verließ Dostum die Armee. Er sondierte Kontakte mit den afghanischen Mudschahedin in Pakistan, die schnell wieder abbrachen. Nach der Besetzung Afghanistans durch die Sowjetarmee und der Ernennung Karmals zum Präsidenten setzte er seine militärische Laufbahn fort. Im Jahre 1980 erhielt er sechs Monate militärisches Training in Kasachstan. Danach baute er seine eigene Miliz auf, die als Teil der semiregulären Regionalmilizen gegen die Mudschahedin kämpften. Seine Miliz erreichte Regiments- und später Brigadenstärke.