1927年8月1日，中國共產黨將領周恩来、叶挺、贺龙、朱德率領部隊发动南昌起義。由于不斷遭到國民政府部隊的攻击而被迫南撤至汕頭，最後被趕至福建省边區。隨後中國共產黨於8月7日召開八七會議，確定武力奪取政權的方針。隔天，汪精衛在武漢下令處決中國共產黨黨員。9月，中國工農紅軍的毛澤東以長沙為據點，在湖南省、江西省發動秋收起義。在9月15日認定進攻長沙失敗後，他率領1,000多名倖存者往東前往位於江西省的井岡山。12月11日，中國共產黨發動廣州暴動並且宣布成立蘇維埃政府，但隨即被張發奎率兵鎮壓。1928年4月28日，朱德的南昌起義部隊與毛澤東的秋收起義部隊在江西省井岡山會師，並於1928年5月合併組建為中國工農紅軍。後來中國共產黨便在其軍隊勢力範圍內展開土地改革，並與國民政府派遣的國民革命軍在1930年至1934年間發生5次反圍剿戰爭。另外在黨內自身政治結構上，1927年8月13日時中國共產黨中央領導機構發出第44號通告，進而發起反對托洛斯基主義鬥爭外。而中國共產黨原先在城市的組織系統遭到破壞也促使得黨內制度的變革，除了原本作為革命組織政黨的中國共產黨確立採取民主集中制，並建立中國共產黨中央政治局、而由其成員擔任中央委員會常務委員。這樣的改組結果增加中國共產黨內部的集權狀態，同時新成立的中央政治局含原先實際掌握權力的中央執行委員會在各個層面有所重疊。1929年中國和蘇聯因為中東路事件而在中國東北地區爆發戰爭，陳獨秀等人因為反對中國共產黨內部的「武裝保衛蘇聯」方針而被開除黨籍。自此中國共產黨內部早期知識派系因而失勢，爾後陳獨秀於1931年5月1日在上海托洛斯基主義組織统一大会上成為“中国共产党左派反对派”總書記。而在陳獨秀遭開除黨籍後，1929年至1930年則由李立三實際掌握政黨組織。但是李立三的一連串錯誤決策反而讓中國共產黨一度接近瓦解狀態，之後第三國際開始積極介入並且在1930年取得主導權。1931年九一八事變爆發後，中國共產黨在蘇聯支援下於11月7日在江西省瑞金縣成立中華蘇維埃共和國；其中中華蘇維埃共和國在該區頒布憲法以及發行貨幣，並且在隔年10月召開的寧都會議上解除毛澤東的軍權。不過在1934年第五次圍剿戰爭爆發後，中國工農紅軍主力被迫從瑞金縣撤退展開長征，期間與國民政府部隊多次交火而損失慘重。此時一連串與中國國民黨為首的國民政府部隊的衝突，使得中國工農紅軍內部被迫重組，主要由中國共產黨的政治部門負責領導和監督部隊；並且自1934年5月開始，由博古、李德和周恩來組成的三人團作為當時為中國共產黨最高領導圈。