Haqqani var ikke opprinnelig et medlem av Taliban. Men han sverget troskap til dem i 1995 rett før Talibans okkupasjon av hovedstaden Kabul. I 1996 og 1997 tjenestegjorde han som militær kommandant i Taliban-hæren og var utstasjonert nord for Kabul. Han ble anklaget for å begå etnisk rensing mot lokale Tajik-befolkninger. I Talibans år ved makten var han utpekt som guvernør i Paktia-provinsen. I oktober 2001 ble Haqqani kalt Talibans militære øverstkommanderende.