Sau khi ra trường, ông được về phục vụ trong Lực lượng Vệ binh bản xứ với chức vụ Trung đội trưởng. Năm 1945, khi quân Nhật đảo chính Pháp tại Đông Dương, Lực lượng Vệ binh bản xứ được người Nhật tổ chức lại thành Lực lượng Bảo an binh. Không lâu sau, Khi Cách mạng tháng 8 nổ ra, Lực lượng Bảo an binh được tổ chức lại thành Cộng hòa Vệ binh, còn gọi là Đệ nhất Sư đoàn. Ông cùng với Kiều Công Cung, Trương Văn Giàu, Nguyễn Văn Quan trở thành những chỉ huy của Cộng hòa Vệ binh.