Son poste de ministre de la Défense donne à Joukov un petit rôle dans la guerre froide. Le , c'est lui qui signe pour l'Union soviétique à Varsovie au palais Koniecpolski l'alliance militaire appelée le pacte de Varsovie, une réaction à l'entrée de la RFA dans l'OTAN (accords de Paris du ) : il a contribué avec Molotov à la rédaction du texte, c'est Rokossovski qui signe pour la Pologne populaire et c'est à Koniev qu'est confié le commandement commun. Ces tensions n'empêchent pas des décisions plus pacifiques, notamment la proclamation de la neutralité autrichienne le (traité de Vienne signé au Belvédère) avec application le , ainsi que l'évacuation de la base de Porkkala en Finlande annoncée le et appliquée le . Du 18 au , Joukov fait partie de la délégation soviétique (avec Khrouchtchev, Boulganine et Molotov) au sommet de Genève, où il retrouve Dwight D. Eisenhower désormais président des États-Unis : les deux s'échangent quelques cadeaux et paroles aimables.