จูคอฟดำรงตำแหน่งเสนาธิการใหญ่ได้ไม่นาน นาซีเยอรมนีก็บุกสหภาพโซเวียต ทำให้เขาถูกปลดจากตำแหน่งและถูกส่งตัวไปรับผิดชอบการป้องกันสามเมืองใหญ่ เลนินกราด, มอสโก และสตาลินกราด เขายังมีส่วนร่วมวางแผนการรุกตีสำคัญหลายครั้ง อาทิ ยุทธการที่คูสค์ และปฏิบัติการบากราติออน ต่อมาในปีค.ศ. 1945 จูคอฟบังคับบัญชาแนวรบเบียโลรัสเซียที่ 1 และมีส่วนร่วมในการรุกวิสตูลา–โอเดอร์กับยุทธการที่เบอร์ลิน ซึ่งนำไปสู่ความปราชัยของนาซีเยอรมนีและการสิ้นสุดสงครามบนทวีปยุโรป จูคอฟได้รับเลือกให้เป็นผู้แทนฝ่ายโซเวียตในการรับตราสารยอมจำนนของเยอรมนี