Tháng 8 năm 1945, ông nhập ngũ, giữ các chức vụ từ Trung đội trưởng đến Chính trị viên Tiểu đoàn, chi đội 1 và Trung đoàn 301. Từ tháng 10 năm 1948 đến năm 1950, ông là tham mưu trưởng các Quân khu 7, Quân khu 8 và đặc khu Sài Gòn – Chợ Lớn. Từ năm 1951 đến 1954, giữ chức tham mưu phó, quyền tham mưu trưởng bộ tư lệnh Nam Bộ.