En tant que chef du GRU, il est au cœur de la Crise des missiles qui a lieu en 1962. Après l'échec de l'implantation des missiles à Cuba, il est écarté de son poste par Nikita Khrouchtchev. Son éviction administrative et politique est aggravée en 1965, lorsqu'il est exclu du Parti communiste, à l'âge de 60 ans. Il meurt à l'hôpital militaire de Krasnogorsk et sera enterré au cimetière du village d'Ilinskoïe dans l'oblast de Moscou.