Da Taliban ankom den politiske scenen på 90-tallet, var Karzai til å begynne med blant deres tilhengere. Han brøt senere med Taliban, på grunn av mistro til deres forbindelser til Pakistan. Etter at Taliban kastet Rabbani i 1996, nektet Karzai å tjene som deres FN-ambassadør. I 1997 slo Karzai seg sammen med mange av sine familiemedlemmer i Quetta. Han arbeidet derifra for å gjeninnsette Zahir Shah. Hans far ble utsatt for et attentat, trolig av Taliban-agenter, og døde 14. juli 1999. Karzai sverget hevn mot Taliban ved å arbeide for å kaste dem. Han sluttet seg så til den såkalte Nordalliansen, som kjempet mot Taliban.