Etter den andre verdenskrig ble Sokolovskij utpekt til nestleder for de sovjetiske styrker i Øst-Tyskland, til 3. juli 1946. Sokolovskij ble så forfremmet til marskalk av Sovjetunionen, og utpekt til øverstkommanderende for de sovjetiske styrkene i Øst-Tyskland (SMAD). I 1949 ble han utnevnt til viseforsvarsminister, en stilling han hadde frem til 1952, da han ble gjort til sjef for hele den sovjetiske generalstaben. I 1960 ble Sokolovskij tildelt en stilling i forsvarsdepartementet. Denne stilling beholdt han frem til sin død den 10. mai 1968.