Sớm tham gia hoạt động cho phong trào Việt Minh, trước Cách mạng tháng 8 năm 1945, ông đã vận động tập hợp thanh niên trong làng thành lập một đội cảm tử do ông làm đội trưởng. Khi Pháp nổ súng tái chiếm Nam Bộ, ông đã chỉ huy 2 tiểu đội vũ trang sáp nhập với lực lượng của ông Tô Ký, chính thức tham gia kháng chiến chống Pháp. Từ đó, ông lấy mốc ngày 23 tháng 9 năm 1945 làm ngày nhập ngũ của mình, với bí danh Nguyễn Hữu Nghĩa.