11 сентября 1998 года назначен министром иностранных дел Российской Федерации. Рекомендовался на пост своим предшественником Евгением Примаковым. Выступал против действий НАТО в Югославии. Он также был противником вторжения США в Ирак. Иванов сыграл ключевую роль в посредничестве в заключении сделки между президентом Грузии Эдуардом Шеварднадзе и оппозиционными партиями во время «Революции роз» в Грузии в 2003 году. 9 марта 2004 года освобождён от должности министра.