Sau khi Đức xâm lược Liên Xô, Zhukov mất chức tổng tham mưu trưởng. Sau đó, ông tổ chức phòng thủ tại Leningrad, Moscow và Stalingrad. Ông đã tham gia lên kế hoạch cho một số cuộc tấn công lớn, bao gồm Trận Kursk và Chiến dịch Bagration. Năm 1945, Zhukov chỉ huy Phương diện quân Belorussia 1; tham gia vào Chiến dịch Wisla–Oder và Trận Berlin, dẫn đến sự thất bại của Đức Quốc xã và kết thúc chiến tranh ở châu Âu. Để ghi nhận công lao của Zhukov trong cuộc chiến, ông được chọn là người chấp nhận sự đầu hàng của Đức và kiểm tra Lễ duyệt binh Chiến thắng ở Moscow năm 1945.