Kun Taliban syntyi 1994, se otti maan valtaansa lukuun ottamatta pohjoisia alueita, jossa hallitsi Pohjoisen liiton Ahmad Shah Massoud. Zaeef toimi virkamiehenä taliban-hallinnossa, muun muassa keskuspankin johtajana, apulaispuolustusministerinä ja apulaiskaivos- ja teollisuusministerinä. Hän oli vuonna 2001 Talibanin suurlähettiläs Pakistanissa. New Yorkin terrori-iskujen jälkeen seuraavassa vuodenvaihteessa Pakistanin viranomaiset luovuttivat hänet Yhdysvaltoihin, jossa hän joutui neljäksi vuodeksi Guantanamon vankileirille. Syytteitä ei kuitenkaan nostettu, ja vapauduttuaan hän palasi Kabuliin. Hän asuu siellä turvatalossa turvamiesten valvomana. Afganistanin presidentin Hamid Karzain vaatimuksesta hänen nimensä on poistettu YK:n terroristilistalta.