Etter Sovjetunionens fall høsten 1991 ble KGB omorganisert og utenriksetterretningen ble overført til en ny organisasjon – SVR. Sergei Ivanov jobbet seg gjennom gradene i SVR, på midten av 1990-tallet var han en av de yngste generalene i organisasjonen og i 1998 ble han utnevnt til visedirektør for Europa-avdelingen.