1906年、ニューヨーク州ニューヨーク市生まれ。父親はヴォードヴィリアンで、母親は女優のグロリア・ゴードン。1933年にノークレジットではあるが、映画『ブラウンの本塁打』へ出演して俳優デビュー。1950年代から本格的な役者活動をスタートさせ、テレビドラマを中心に活躍。特にキャリアで知られているのは、ルシル・ボールが主演したシットコムシリーズの『ザ・ルーシー・ショー』への出演で、ボール演じるルーシーが勤務する銀行の気難しい副頭取を演じて人気を博した。同作への出演ではプライムタイム・エミー賞へも2回ノミネートされている。同作の出演以降も『Here's Lucy』や『Life with Lucy』などのいわゆる「ルーシー・シリーズ」へ度々出演しており、同シリーズの欠かせない常連俳優としても知られた。1989年にはトム・ハンクス主演の『メイフィールドの怪人たち』へ出演し、ハンクス演じる主人公らが騒動を巻き起こす町「メイフィールド」に住む気難しい老人を演じた。
ミュージシャンとして幅広い活動を行う中、CHEMISTRYの作品でサウンドプロデュース、作曲、編曲を行い、ミリオンヒットを記録する。また2001年には、『NHK紅白歌合戦』にCHEMISTRYのギタリストとして出演した。ダイアモンド☆ユカイのバンドに2年ほど在籍し、ライヴ、ツアーなどを行った。テレビCMでおなじみの「♪キスをしたくなってくるでしょ〜」とSHYが歌うプロアクティブのCMソング「ラッキーカラー」をプロデュース、編曲している。またエスニック音楽でも活躍する一面を持ち、ボサノヴァ、インド古典音楽、チベット音楽などの一流ミュージシャンと共演、録音などを行っている。
1941年6月22日午前3時、ナチス・ドイツが独ソ不可侵条約を破ってソ連への侵攻を開始した（バルバロッサ作戦）。ジェフリー・ロバーツは開戦直後のジューコフを「1941年夏のドイツ軍は装備も貧弱で時代遅れの関東軍とは比べものにならない精強な軍隊だった。ソ連軍は連戦連敗を続けた。そんな状況でもジューコフは冷静さを失わなかった。」と評価している。ジューコフは午前3時17分に、黒海艦隊司令官のフィリップ・オクチャーブリスキー大将から緊急電話で呼び出され、所属不明の航空機の接近を知った。その後西部特別軍管区、キエフ特別軍管区、沿バルト軍管区からもドイツ軍侵入の報告が届いた。ジューコフはスターリンに電話して状況を報告し、戦闘行為の承認を求めたが返事はなくクレムリンに来るよう命じられた。午前4時半には政治局員が閣議室に集まり、ジューコフと国防人民委員チモシェンコも入室を許された。スターリンは青ざめていて、タバコのつまったパイプをもって椅子にかけて「すぐにドイツ大使館に電話する必要がある」と言った。ドイツ大使と接見しにいった外務人民委員のヴャチェスラフ・モロトフが閣議室に戻りドイツ政府の宣戦布告を伝えた。スターリンはジッと考えこみ長い、苦しい沈黙がつづいた。ジューコフは沈黙を破り国境の各軍管区が、全力をあげて敵の崩れそうな部分に集中攻撃をかけ、その態勢を崩さないように維持し続けるようすぐ命令することを提案した。チモシェンコの同意もありスターリンはジューコフの提案を承認した。6月22日午前7時15分、国防人民委員部の指令第二号が各軍管区に伝えられたが実現不可能な命令であり前線からは無視された。この時点で参謀本部には軍管区からも通信部隊からも何一つ連絡がなく状況を把握出来ていなかった。現地部隊もドイツ軍の破壊工作で通信手段を絶たれ報告出来る状況になかった。午前8時になるとようやく各軍管区から報告が届いた。戦況を把握したジューコフはチモシェンコとともに再びスターリンの下を訪れ、動員令の公布を求めた。スターリンはヨーロッパロシアで戒厳令を発令し、極東・中央アジア・ザバイカルの3軍管区を除く14の地域で動員が開始された。また国家の全機能が軍の統制下に置かれジューコフはスターリンやチモシェンコと共同で戦争を指導する最高司令部の構成案を作った。6月23日には最高司令部スタフカが設立された。スターリンは北西・西部・南西の3戦線を編成し、ジューコフにスタフカ代表の身分を与えて南西戦線の戦闘指導を命じた。ジューコフは直ちにキエフに赴きウクライナ共産党の政治委員フルシチョフと面会した。フルシチョフは、これから先は飛行機は危ないとジューコフに忠告した。すでに制空権は奪われつつあり、ドイツ軍の戦闘機が輸送機を狙っていた。ジューコフは南西戦線司令部の設置されたテルノーポリに赴き、参謀総長第一代理のニコライ・ヴァトゥーチンと連絡をとった。ヴァトゥーチンは前線の状況を述べ、国防人民委員部の指令第三号の発令と署名を求めた。ジューコフは現時点での反撃に反対したが、すでに指令は発令されており、やむをえず署名した。しかしスターリンの面会名簿によると、この時期ジューコフは他の軍高官と共に会議に出席していた。バグラミャン元帥の回顧録によると、ジューコフが南西戦線司令部にやってきたのは、指令第3号が発令された後だった。ジェフリー・ロバーツはジューコフは悲惨な結果に終わった指令第3号と距離を置こうとしたのではないかと分析している。指令第3号には南西戦線のプルカエフ参謀長も指令に激しく反対した。ジューコフは機械化戦力での反撃を提案し、スタフカと戦線参謀部で反撃計画が作成された。ジューコフは攻勢を担うリャブィシェフ中将の指揮する第8機械化軍団の司令部に赴き、反撃計画を説明した。説明中に空襲警報が鳴ったので天幕で参謀達を集めて状況を再確認した。この時ジューコフは司令部メンバーの平静な態度を見て、「立派なもんだ。これなら、戦争に負けないだろう」と思ったと回顧録で語っている。機械化軍団の反撃は成功しドイツ軍の第48装甲軍団を後退させた。その後もジューコフと南西戦線司令部は善戦し南西戦線は3戦線の中で例外的に優位を保った。第3装甲集団司令官ヘルマン・ホトは「一番苦しい戦いに当面したのは『南』の部隊だった。北翼の軍の前に立ちはだかった敵軍は、初めのうちこそ国境から退却したが、すぐにその打撃から回復し、予備軍や後方から繰出してきた戦車隊と合体してドイツ軍の進撃を食い止めた。第6軍に所属した第1戦車隊の進撃は、6月28日までは開始されなかった。ドイツ軍の進撃の道には、敵の強力な攻撃が待っていた」と自身の回顧録でのベている。