Samtidig som Sovjetunionens røde armé okkuperte Afghanistan, vendte Abdul Ali Mazari tilbake til sin hjemby og fikk etter hvert en framtredende plass i den antisovjetiske motstandsbevegelsen. I løpet av de første årene av motstandskrigen ble hans yngre bror drept, deretter hans søster og andre medlemmer av motstandsbevegelsen. Hans onkel Mohammad Ja'afar og hans sønn Mohammad Afzal ble begge tatt til fange og drept. Han mistet også sin far Haji Khudadad.