Som etnisk hazaraisk ble Abdul Ali Mazari født i landsbyen Charkint, sør for den nordlige byen Mazari Sharif (derav hans etternavn Mazari). Hans studier besto i å lese og pugge i den lokale skolen før han fortsatte med muslimske studier i Mazari Sharif, deretter til Qom i Iran, og så til Najaf i Irak.