Karzai ble født i Kandahar. Som etnisk Pashtun og medlem av den mektige Populzai-klanen (som mange av de afghanske kongene var fra), kom han fra en familie som var blant de sterkeste tilhengerne av kong Zahir Shah. Det gjorde det lettere for Karzai å bygge opp sin politiske karriere. Han tok et etterutdannings-kurs i statsvitenskap ved Himachal Universitetet i Shimla i Himachal Pradesh i India fra 1979 til 1983, for så å reise tilbake for å arbeide med innsamling av penger til motstanden mot Sovjetunionen i Afghanistan resten av 1980-tallet.