Ansari startet sin politiske karriere som embetsmann i den indiske utenrikstjenesten i 1961. Han var Indias faste representant til FN, høykommissær til Australia og ambassadør i De forente arabiske emirater, Afghanistan, Iran og Saudi-Arabia. Han var fra 2006 til 2007 leder for National Commission for Minorities (NCM).