9 Kasım 1924 tarihinde CHP'den istifa etti. 17 Kasım 1924 tarihinde Terakkiperver Cumhuriyet Fırkası kurucuları arasında yer aldı ve bir süre sonra da bu partinin genel başkanı oldu. Doğu'da çıkan Şeyh Said İsyanı üzerine İsmet Paşa Hükûmeti Takrir-i Sükûn Kanunu'nu çıkardı ve bu isyanda TCF'nin de rolü olduğu iddia edildi. İsmet İnönü başkanlığındaki hükûmet tarafından bu olay bahane edilerek 5 Haziran 1925 tarihinde Bakanlar Kurulu kararı ile tüm muhalif gazeteler ve partilerle birlikte TCF de temelli kapatıldı. Ayrıca Kâzım Karabekir, Haziran 1926 tarihinde Cumhurbaşkanı Gazi Mustafa Kemal'e düzenlenen İzmir Suikastı girişimi ile ilgili olarak tutuklandı ve İstiklal Mahkemesi'nde idam ile yargılandıysa da beraat etti.