Primakov hizo su aparición directa en la escena política en 1989, como presidente del Soviet de la Unión, una de las dos cámaras del Soviet Supremo de la URSS. En 1990 y 1991 fue integrante del Consejo presidencial de Mijaíl Gorbachov. Fue enviado especial de Gorbachov a Irak, en plena Guerra del Golfo, y mantuvo negociaciones con Saddam Hussein. Tras el fracasado golpe de Estado de 1991 fue designado jefe de la KGB y luego Director del servicio de inteligencia en el extranjero de la Federación de Rusia, la SVR, desempeñando ese cargo desde 1991 hasta 1996.