Để thay thế vai trò của Tổng thống Diệm, một Hội đồng Quân nhân Cách mạng được thành lập. Ông được giữ vị trí thứ 2 trong Hội đồng với vai trò Đệ Nhất Phó Chủ tịch, chỉ sau tướng Dương Văn Minh. Cùng thời điểm, ông được làm Tổng trưởng Quốc phòng trong Nội các Chính phủ Thủ tướng Nguyễn Ngọc Thơ. Đến đầu tháng 1 năm 1964, ông được kiêm luôn chức vụ Tổng Tư lệnh Quân đội Việt Nam Cộng hòa (Tổng Tham mưu trưởng), nhưng chỉ sang ngày hôm sau, ông bàn giao chức vụ này lại cho người em rể là Thiếu tướng Lê Văn Kim. Đến ngày 14 tháng 1, ông được cử làm Trưởng đoàn hướng dẫn phái đoàn Quân sự công du Thái Lan trong thời gian 2 ngày.