Som utenriksminister var Ivanov en aktiv motstander av NATOs interaksjon i Jugoslavia og invasjonen av Irak i 2003. Ivanov spilte også en nøkkelrolle i meglingen mellom Georgias president Eduard Sjevardnadse og de opposisjonelle i roserevolusjonen i 2003. I 2004 gikk han av som utenriksminister og ble erstattet av Sergej Lavrov. Ivanov ble utnevnt til sekretær for det russiske sikkerhetsrådet, en stilling han beholdt til 2007.