En , Nikita Khrouchtchev obtient la démission de Gueorgui Malenkov, nommant à sa place Nikolaï Boulganine comme président du Conseil des ministres. Joukov obtient ainsi, le le poste de ministre de la Défense. Dans le même temps est créé le Conseil général de défense de l'URSS, dont Khrouchtchev devient président : ce dernier devient le chef suprême des forces armées soviétiques. Joukov soutien souvent Khrouchtchev, qui poursuit la déstalinisation, contre Molotov, qui mène plus ou moins les derniers staliniens. Il assiste au du Parti, du 14 au , pendant lequel il monte à la tribune le 18 : c'est le seul militaire à y prendre la parole. Joukov apprécie tellement le discours de Khrouchtchev sur le culte de la personnalité qu'il est chargé par celui-ci d'un rapport sur le rôle de Staline pendant la guerre.