Islamilaisen vallankumouksen tapahduttua Iranissa Zarif päätti hakea töitä YK:n New Yorkissa sijainneesta Iranin lähetystöstä. Diplomaattina hän on osallistunut muun muassa Iranin ja Irakin välisiin rauhanneuvotteluihin ja amerikkalaisten panttivankien vapauttamisneuvotteluihin Libanonissa. Hän edusti maataan YK:ssa vuosina 2002–2007. Hänellä oli myös tärkeä rooli Iranin ydinsopimuksen solmimisessa vuonna 2015.