Ivanov tjenestegjorde i det sovjetiske utenriksministerium fra 1973, og tilbragte blant annet et tiår i Spania. I 1991 ble han tildelt stillingen som Russlands ambassadør til Spania, en post han holdt til 1994. Dette året ble han utnevnt til viseutenriksminister under Andrej Kosyrev, og etter fire år, ble han selv utnevnt til utenriksminister som etterfølger av Jevgenij Primakov, som da ble utnevnt til statsminister.