จูคอฟเกิดในครอบครัวยากจนในภาคกลางของรัสเซีย เขาเข้ารับราชการทหารในกองทัพบกจักรวรรดิรัสเซียและเคยสู้รบในสงครามโลกครั้งที่หนึ่ง ต่อมาจูคอฟเข้าร่วมกับกองทัพแดงในช่วงสงครามกลางเมืองรัสเซีย และมีความก้าวหน้าในหน้าที่การงานตามลำดับ ในปีค.ศ. 1939 จูคอฟเป็นแม่ทัพกลุ่มและได้รับชัยชนะอย่างขาดลอยเหนือญี่ปุ่นในยุทธการที่ฮาลฮิน กอล ชัยชนะครั้งนี้ทำให้เขาได้รับเหรียญวีรชนแห่งสหภาพโซเวียตเป็นครั้งแรก ต่อมาในเดือนกุมภาพันธ์ ค.ศ. 1941 จูคอฟได้รับตำแหน่งเสนาธิการใหญ่กองทัพแดง