Fra 1991 til 1992 arbeidet han for handelskammeret i Afghanistan og gikk deretter i internasjonal diplomatisk tjeneste. Han arbeidet for FN i Eritrea og Sør-Afrika og hadde fra 1994 til 1996 lederansvar for valgavvikling i UNMIL i Liberia. Etter dette arbeidet han med FNs humanitære innsats i Irak. Fra 2004 var han stabssjef i FNs misjon i Irak (UNAMI). Zarif ble deretter stabssjef og fungerende spesialutsending i UNMIS i Sudan. I 2010 fikk han en lederstilling i FNs avdeling for fredsbevarende operasjoner med ansvar for Europa og Latin-Amerika.