Tuy nhiên, danh vọng tột đỉnh của ông chỉ tồn tại chưa đầy 3 tháng. Ngày 30 tháng 1 năm 1964, một người bạn cũ của ông, tướng Nguyễn Khánh, đã thực hiện cuộc "Chỉnh lý" lên nắm chức vụ Chủ tịch Hội đồng. Ông cùng các một số tướng lĩnh chủ chốt trong Hội đồng gồm Tôn Thất Đính, Lê Văn Kim, Mai Hữu Xuân đều bị bắt giam và đưa lên Đà Lạt chờ điều tra với tội danh tình nghi "trung lập". Cả Thiếu tướng Nguyễn Văn Vỹ (mới trở về sau một thời gian sống lưu vong ở Pháp) cũng bị bắt giam tại Đà Lạt cùng với các tướng Đôn, Đính, Kim, Xuân.