Khi quân Pháp tái chiếm Đông Dương, ông giữ chức Khu trưởng Chiến khu IV. Ngày 10 tháng 7 năm 1947, ông được điều về công tác ở Bộ Tổng chỉ huy, phụ trách thanh tra Bộ đội Quốc gia Việt Nam. Nguyễn Sơn thay ông làm Khu trưởng Chiến khu IV.