Khi Chiến tranh Đông Dương bùng nổ năm 1946, ông tham gia công tác quân sự. Từ 1945 đến 1950, là trung đoàn phó rồi trung đoàn trưởng các trung đoàn: Sơn La, Sơn Tây, quyền khu trưởng Khu XIV, khu phó Liên khu X. Khi Quân đội nhân dân Việt Nam thành lập các đại đoàn chủ lực, ông trở thành Đại đoàn trưởng đầu tiên của đại đoàn 312-đại đoàn "Chiến thắng" (nay là Sư đoàn) ở tuổi 36. Trong trận Điện Biên Phủ, đại đoàn 312 do ông chỉ huy đã đánh trận mở màn vào cao điểm Him Lam (13 tháng 3 năm 1954) và kết thúc chiến dịch vào ngày 7 tháng 5 năm 1954, bắt sống tướng Christian de Castries và ban chỉ huy tập đoàn cứ điểm.