Sokolov diende in 1938 in de Slag om het Chasanmeer en hierna in de Tweede Wereldoorlog. Hij werkte zich op tot maarschalk van de Sovjet-Unie. Deze titel verkreeg hij in 1978. Tussen 1984 en 1987 was hij minister van Defensie. Door de affaire rond piloot Mathias Rust werd hij in deze functie ontslagen door Michail Gorbatsjov. In 2001 werd hij ereburger van de Krimrepubliek.