Khi quân Pháp tái chiếm Nam Bộ, tháng 9 năm 1945, ông nhập ngũ vào quân đội. Năm 1947, ông chỉ huy một đơn vị tập trung thuộc Chi đội 6, Trung đoàn 306 Đông Nam Bộ, nhiều lần đơn vị này đánh chiếm làm chủ nhiều giờ khu vực Thị Nghè, Bà Chiểu. Sau đó được tổ chức điều động, ông về chỉ huy đơn vị biệt động 2766 trực thuộc Bộ chỉ huy quân sự Đặc khu Sài Gòn – Chợ Lớn. Sau đó, ông lại được điều động làm Tiểu đoàn trưởng một tiểu đoàn thuộc Sư đoàn 335 Tây Bắc – quân tình nguyện chiến đấu tại Lào. Năm 1954, ông tập kết ra Bắc, được cử theo học các quân chính.