1955年、ソ連邦首相のゲオルギー・マレンコフが失脚すると、ニキータ・フルシチョフが党の実権を握った。フルシチョフはジューコフを国防相に推薦した。ジューコフ自身はヴァシレフスキーを推薦したが、ヴァシレフスキーはジューコフが適任だと述べた。国防相に就任したジューコフは当初フルシチョフと良好な関係を保っていた。大祖国戦争でも二人は、天王星作戦やウクライナ解放をめぐる作戦で協力していた仲だった。1955年2月7日、ジューコフは正式に国防相に就任し、アメリカ記者団を相手に会見を開いた。記者が核兵器について質問すると、ジューコフは、核抑止力が世界を安全にしたとは言えないと言明した。同時に核兵器だけでは戦争には勝てないとも語った。大祖国戦争に対する話題になると、ヒトラーの過ちはなにか？という質問にたいし、ソ連の力を見くびる戦略的な誤りを犯し、戦術的には各種兵科を統合運用する重要性を十分に認識していなかったと答えている。またスターリングラードの戦いよりモスクワの勝利がより重要であったか？との質問に対し、モスクワ、スターリングラード、クルスクと続いた一連の戦いが戦争の潮流を変えたと答えた。ジューコフは会見で米ソ関係の融和を訴え、かつて親しかったアイゼンハワー大統領との関係に触れ、友好的な米ソ関係を取り戻したいと語った。国防相になったジューコフの最重要課題は、軍の削減問題だった。大祖国戦争の後、ソ連軍は1100万の人員を300万まで削減していた。しかし冷戦が激化すると540万人まで増加し、スターリンの死後に再び軍縮が始まった。核抑止力を重視するフルシチョフ政権は通常戦力の人員整理を推進、ジューコフは国防相として200万人の人員を削減し、フルシチョフの期待に応えた。フルシチョフは、「軍服を着た多くの偏執狂と異なり、ジューコフは軍事費削減の必要性を理解していた。」と語り、その働きを高く評価した。ジューコフは軍縮に誰よりも積極的であり、最終的に150万人規模への縮小を目指していた。ソ連は国際連合に、軍備と兵員の大幅削減を訴え、軍縮の履行を監視する国際機構の設立を求めた。アメリカ政府が軍縮履行を確認するため、ソ連領内での偵察機の飛行許可を求めると、ジューコフはソ連機のアメリカ領での飛行を認めるなら応じると答えた。ソ連政府は長年、欧州全土を包括する集団安全保障条約の締結を熱心に訴えていた。西ドイツがNATOに加盟すると、ソ連政府は東欧諸国を集めてワルシャワ条約機構を設立、ジューコフはモロトフと共同で条項を起案した。
大学時代は演劇と映画の日々を送っていたが、関川秀雄監督の誘いで卒業後は独立プロの助監督へ。さらに1954年日活撮影所監督部に入社する。そこで久松静児、田坂具隆、阿部豊、牛原陽一などの助監督に付くかたわら脚本家としての仕事もこなす。1962年に明子夫人と結婚。1964年、帝銀事件について、綿密な調査と考証をもとに被疑者であった平沢貞通画伯を無罪とする立場から事件経過をドキュメンタリー・タッチで描いた『帝銀事件 死刑囚』で監督デビュー（脚本も務めている）。監督2作目の『日本列島』では、戦後の日本で起こった謎の多い諸事件を米国の謀略と関連付けて追及し、日本映画監督協会新人賞を受賞。骨太の社会派監督として注目されるようになった。1968年には、三船プロダクションと石原プロモーションが共同制作した大作『黒部の太陽』の監督に抜擢され、当時の映画界に厳然として存在していた五社協定の圧力にも負けず、三船敏郎、石原裕次郎、佐野周二、滝沢修、高峰三枝子ら豪華なスター共演によって黒四ダムの建設を見事に描き、成功を収める。1969年に日活を退社し、退職金を投入して『地の群れ』を製作。以後フリーの映画監督して活躍し、三浦哲郎原作の芥川賞受賞作を白黒で美しく撮影した『忍ぶ川』（1972年）でキネマ旬報ベストテンベストワン及び監督賞、芸術選奨文部大臣賞などを受賞。1974年に、東南アジアに娼婦として売られた「からゆきさん」に題材をとった田中絹代出演『サンダカン八番娼館 望郷』でベルリン国際映画祭銀熊賞、キネマ旬報ベストテンベストワン及び監督賞を受賞し、アカデミー外国語映画賞ノミネートなど、重いテーマを扱いながら、重厚な人間ドラマを完成させ、海外からも高い評価を得た。なおこの時期、吉永小百合の母・和枝の面前で泥酔して暴れ、和枝の著書『母だから女だから』（立風書房、1976年）において名指しで痛烈に批判された。その後も初の時代劇『お吟さま』（今東光原作）、戦後の日本映画で初の中国ロケを敢行した『天平の甍』（井上靖原作）などを経て、1986年には戦時中に九州で起きた米軍捕虜生体解剖事件をもとに医師の戦争責任を問うた遠藤周作原作の『海と毒薬』を発表し、ベルリン国際映画祭銀熊賞 (審査員グランプリ)、毎日映画コンクール大賞、3度目のキネマ旬報ベストテンベストワン及び監督賞を受けるなど国内外で評価された。社会性の強いテーマを内包した作品を制作し、独自な世界観を確立、昭和を代表する社会派映画監督として知られた。1989年、三船敏郎出演の『千利休 本覚坊遺文』でヴェネツィア国際映画祭銀獅子賞を受賞。2001年には松本サリン事件を描いた『日本の黒い夏─冤罪』でベルリン国際映画祭に特別招待され、ベルリナーレ・カメラ（特別国際功労賞）を授けられた。1995年、紫綬褒章を受章。2003年、勲四等旭日小綬章を受章。2007年5月18日早朝、自宅敷地内で倒れているところを発見され、搬送先の病院で一時意識を回復したが、5月23日午前9時51分、クモ膜下出血のため死去。76歳没。新作の準備に意欲を持ち、模索していた中であった。2007年7月11日、港区・青山葬儀所に於いて『お別れの会』が催された。