Officier du KGB, principal service de renseignement de l'URSS post-stalinienne, il est en poste à Dresde au moment de la chute du mur. Il commence sa carrière politique à la mairie de Saint-Pétersbourg, puis devient l'un des plus proches conseillers du président Boris Eltsine, qui fait de lui le directeur du Service fédéral de sécurité en 1998, puis le président du gouvernement de la Russie l'année suivante.