Tuy vậy, tướng Khiêm lại là một trong những tướng lĩnh chủ chốt tham gia Cuộc Đảo chính ngày 1 tháng 11 năm 1963 lật đổ Tổng thống Ngô Đình Diệm. Với cương vị Tham mưu trưởng Liên quân, tướng Khiêm được cho là có những động thái tích cực để vạch kế hoạch và điều động các đơn vị tham gia đảo chính vào Sài Gòn cũng như cách ly các đơn vị trung thành với Tổng thống Diệm. Sau cuộc đảo chính, ngày 2 tháng 11 ông được thăng cấp Trung tướng kiêm chức vụ Ủy viên Quân sự trong Hội đồng Quân nhân Cách mạng do Trung tướng Dương Văn Minh làm Chủ tịch. Ngày 17 tháng 12, với tư cách là Ủy viên Quân sự, ông cùng phái đoàn Việt Nam Cộng hòa do Đại sứ Phạm Đăng Lâm làm Trưởng đoàn, sang Seoul tham dự lễ nhậm chức Tổng thống Đại Hàn của Trung tướng Phác Chánh Hy.