Ivanov tjänstgjorde på Sovjetunionens utrikesministerium från 1973 och var Ryska federationens ambassadör i Madrid från 1991. Han utnämndes till utrikesminister 1998 sedan företrädaren Jevgenij Primakov befordrats till premiärminister. Som utrikesminister motsatte sig Ivanov Natos anfall på Jugoslavien, USA:s invasion i Irak 2003 och medlade i Georgien i samband med Rosenrevolutionen samma år. Han avgick som utrikesminister 2004 och utnämndes till nationell säkerhetsrådgivare, en post han upprätthöll till 2007.