Tam pokračoval v kritice Tálibánu, a když byl v roce 1999 zavražděn jeho otec, obvinil z vraždy Tálibán a definitivně se s ním rozešel. V roce 2001 byl blízkým spolupracovníkem generála Masúda, velitele Severní aliance. Po začátku Operace Trvalá svoboda se postavil do čela polních protitálibánských velitelů a začal spolupracovat s americkou armádou. 5. prosince 2001 na pozice jeho skupiny nedaleko Kandaháru omylem raketami zaútočila americká armáda, následkem útoku zemřeli 3 američtí vojáci, 5 jeho spolubojovníků a dalších 18 bylo zraněno, včetně samotného Karzaje. Krátce po útoku mu bylo oznámeno, že ho afghánští kmenoví vůdcové na konferenci v Bonnu zvolili předsedou prozatímní vlády.