Khi quân Pháp tái chiếm Nam Bộ, ông vẫn tiếp tục hoạt động cho tổ chức Thanh niên Cứu quốc và phong trào Việt Minh. Tháng 1 năm 1948, ông được cử làm cán bộ quân sự của xã Long Điền, huyện Giá Rai (nay thuộc huyện Đông Hải), tỉnh Bạc Liêu. Tháng 6 năm 1948, ông chính thức nhập ngũ và được đưa đi học bồi dưỡng quân sự. Ngày 1 tháng 1 năm 1949, ông được kết nạp vào Đảng Cộng sản Đông Dương (bấy giờ hoạt động không công khai). Bấy giờ ông là Trung đội phó trung đội trinh sát của Huyện đội Giá Rai. Đầu năm 1954, ông được rút lên làm Trung đội trưởng trung đội trinh sát thuộc Tỉnh đội Bạc Liêu.