Zarif studerte ved Universitetet i Kabul. Han begynte i sitt lands utenrikstjenesten i 1974. En periode var han chargé d'affaires i Havanna og fra 1980 var han ambassadør og Afghanistans faste representant ved FN i New York. Zarif var viseutenriksminister 1987–1989) og utenrikspolitisk rådgiver for Afghanistans president (1989–1991).