伴随着革命运动的迅速发展,国民党右派掀起的反共逆流也在滋长。更为严重的是,蒋介石因在创建黄埔军校和统一广东根据地过程中的作用,以及谋取主管军事的权力,其影响和地位已大大增强。他开始加强对共产党的限制,反共面目越来越明显。
在国民党新老右派变本加厉的反共活动面前,共产国际指示中共中央,共产党如果同国民党新右派进行斗争,必将导致国共关系破裂,因而主张妥协退让。共产国际驻中国代表也坚持这种意见。中共中央只能执行共产国际的指示,使得妥协退让的意见在党内占了上风。
1926年1月,国民党在广州举行第二次全国代表大会。中共中央妥协退让的结果,使国民党右派在中央执行委员会和中央监察委员会中占了优势。3月18日,国民政府海军局代理局长、共产党员李之龙奉命派中山舰到黄埔后,立刻谣言四起,说是要劫持蒋介石。3月20日,蒋介石以所谓中山舰事件为借口,在广州实行紧急戒严,监视并软禁共产党人,包围省港罢工委员会和苏联顾问办事处。中共中央和共产国际代表妥协退让的结果,使共产党员被迫退出国民革命军第一军。这一事件后,汪精卫称病去职,蒋介石为取得最高权力又迈进了一步。在5月15日召开的国民党二届二中全会上,蒋介石提出所谓《整理党务决议案》。由于中共中央的妥协退让,决议案获得通过,担任国民党中央部长的共产党人都辞去职务,蒋介石却担任了国民党中央组织部长兼军人部长,随后又当上国民党中央常务委员会主席和国民革命军总司令,成为掌握最高权力的人物。
中山舰事件发生后,蒋介石的立场进一步转到大地主大资产阶级方面。但是他的实力有限,还需要得到共产党和苏联的支持,因此没有立刻同共产党公开分裂。这时已到北伐战争的前夜。北伐的军事指挥权主要掌握在蒋介石手中这个事实,表明革命形势虽然在迅速发展,但已经埋伏着严重的危机。