1931年初回国,党在上海召开了扩大的六届四中全会,会议在米夫的操纵下,1月10日,中央政治局会议决定向忠发、周恩来、张国焘为中央政治局常委。会后到鄂豫皖根据地,任中共鄂豫皖苏区中央分局书记兼军事委员会主席。11月当选为中华苏维埃共和国临时中央政府副主席。他在鄂豫皖积极推行王明“左”倾冒险主义方针,并主持开展错误的“肃反”。
1935年4月放弃川陕根据地开始长征。6月红四方面军与中央红军张国焘晚年一家人在四川懋功地区会师后,为了统一指挥两大方面军作战,中共中央召开了著名的“两河口会议”,会议决定由张国焘任红军总政委、中革军委副主席。但张国焘反对中央关于红军北上建立川陕甘苏区根据地的决定,进行分裂党和红军的活动,10月率部南下川康,在卓木碉宣布另立“中央”,并通缉毛泽东、张闻天、周恩来等人。
国共第二次合作全面抗日后,1938年4月3日,时任陕甘宁边区政府副主席(一说是代主席)的张国焘借祭拜黄帝之名逃离延安,遇上蒋鼎文后到了西安,投奔中国国民党。4月11日周恩来到武汉汉口与张多次协商未果之下,4月18日,中共中央开除张的党籍(于4月22日《新华日报》发表)。不久,加入国民党的特务组织——军事委员会调查统计局,主持“特种政治问题研究室”、“特种政治工作人员训练班”,从事反共特务活动。