Ngày 30 tháng 1 năm 1964, do mâu thuẫn quyền lợi, tướng Nguyễn Khánh từ Pleiku đã lén về Sài Gòn tiến hành trót lọt "Cuộc Chỉnh lý". Ngày 5 tháng 2, ông bị tướng Khánh buộc bàn giao chức vụ Tư lệnh Quân đoàn III lại cho Trung tướng Trần Thiện Khiêm "(nguyên Tham mưu trưởng Bộ Tổng Tham mưu)". Ngày 14 tháng 2, ông cùng các tướng Trần Văn Đôn, Lê Văn Kim, Mai Hữu Xuân và Nguyễn Văn Vỹ "(mới trở về từ Pháp)" bị buộc tội có xu hướng "Trung lập", bị bắt và quản thúc, loại khỏi Chính quyền Quân sự. Ông bị biệt giam tại Pleiku trong một thời gian, sau đó bị đưa về quản thúc tại Đà Lạt. Thời điểm này ở Cao nguyên Trung phần xảy ra cuộc bạo loạn do lực lượng Fulro của người một nhóm người sắc tộc ở các tỉnh Darlac, Pleiku và Kontum khuấy động đòi tự trị. Ngày 14 tháng 11 ông được tướng Khánh triệu ra làm Tư lệnh Quân đoàn II kiêm Chỉ huy trưởng Bộ chỉ huy Hành quân dẹp loạn Fulro. Sau khi dẹp loạn thành công, ông bị quản thúc tiếp tại Vũng Tàu Đến cuối tháng 12, ông mới được tướng Khánh cử giữ chức vụ Tổng thanh tra Quân lực kiêm Tổng cục trưởng Tổng cục Quân huấn (những chức vụ chẳng có mấy quyền lực).