Sau thất bại ở Điện Biên Phủ (1954), Chính quyền và Quân đội Liên hiệp Pháp phải tập kết về miền Nam. Các Lực lượng Quân sự Pháp phải rút về nước và bàn giao lại Chính quyền cho Chính phủ Thủ tướng Ngô Đình Diệm. Với sự ủng hộ của người Mỹ, Thủ tướng Diệm đã lần lượt thay thế các sĩ quan trung thành với mình vào các vị trí chỉ huy, tìm cách tước dần ảnh hưởng của tướng Nguyễn Văn Hinh, được cho là chịu ảnh hưởng quá nhiều của người Pháp. Đầu tháng 9 năm 1954 Thủ tướng Diệm ra quyết định cử ông sang Pháp công cán trong 6 tháng để nghiên cứu việc cải tổ và canh tân quân đội, một động thái được cho là đẩy ông ra khỏi vị trí Tổng Tham mưu trưởng. Dựa vào quân đội, cùng với sự hỗ trợ của các lực lượng quân sự của các giáo phái, tướng Hinh đã dự tính làm đảo chính vào ngày 20 tháng 9 để nắm lại chính quyền. Tuy nhiên, do sự can thiệp của người Mỹ cùng sự thờ ơ của người Pháp, tướng Hinh buộc phải từ bỏ ý định. Ngày 29 tháng 11 năm 1954, ông nhận được lệnh của Quốc trưởng Bảo Đại, giao chức vụ Tổng Tham mưu trưởng cho Thiếu tướng Nguyễn Văn Vỹ và sang Pháp để "trình diện Quốc trưởng". Ngay lúc đó, Thủ tướng Diệm đã bổ nhiệm Thiếu tướng Lê Văn Tỵ vào chức vụ Tổng Tham mưu trưởng và lần lượt tiêu diệt các phe phái đối lập, giành được Chính quyền. Một năm sau đó, Thủ tướng Diệm tuyên bố phế truất Quốc trưởng Bảo Đại và lên làm Tổng thống của Quốc gia Việt Nam Cộng hòa mới được thành lập.