Ngày 22 tháng 6 năm 1941, Đức Quốc xã bất ngờ tấn công Liên Xô. Trên cương vị Tổng tham mưu trưởng, ông đã đề nghị Stalin ban hành Chỉ thị số 1 (lúc 0 giờ 25 phút ngày 22 tháng 6). Đến 7 giờ 15 phút ngày 22 tháng 6, ông đề nghị Bộ Tổng tư lệnh ra Chỉ thị số 2 ban hành lệnh tổng động viên trên toàn bộ phần lãnh thổ châu Âu của Liên Xô để chống lại cuộc tấn công xâm lược của nước Đức Quốc xã. 13 giờ cùng ngày, theo lệnh của Stalin, ông bay đến Phương diện quân Tây Nam để thị sát tình hình và chỉ đạo tại chỗ. Hồi 23 giờ 50 phút ngày 22 tháng 6. Stalin ra lệnh cho Phó tổng tham mưu trưởng Nikolay Vatutin thảo Chỉ thị số 3 yêu cầu các phương diện quân chuẩn bị tổng phản công. Từ Tarnopol, Zhukov điện về Moskva nói rõ rằng ông không thể đồng ý vì chưa nắm được tình hình đối phương. Tuy nhiên, khi Vatutin nói rằng Stalin đã tự quyết định thì ông mới miễn cưỡng bảo Vatutin ghi chữ ký của ông bên cạnh chữ ký của Timoshenko. Do không nắm được tình hình quân Đức, không căn cứ vào thực tế chiến trường và không được chuẩn bị chu đáo, đặc biệt về không quân yểm hộ mặt đất và hậu cần tiếp liệu, các cuộc phản công của các Phương diện quân Tây, Tây Bắc, Tây Nam và Nam đã thất bại. Là đại diện Bộ Tổng tư lệnh tối cao tại Phương diện quân Tây Nam, Zhukov đã cố gắng hết sức để chỉ đạo các hoạt động tác chiến và thu được một số kết quả, thiết lập được tuyến phòng thủ nhiều lớp để làm chậm đáng kể bước tiến của Cụm Tập đoàn quân Nam (Đức) trong khi Phương diện quân Tây Bắc đã chịu những tổn thất lớn và Phương diện quân Tây đã bị tổn thất đặc biệt nghiêm trọng.