它的前身是鄂东根据地、豫南根据地和皖西根据地。
背景.1927年11月，潘忠汝等领导了湖北黄安、麻城地区的农民起义，开辟了鄂东根据地；1929年5月，徐子清等领导了河南商城的农民、士兵起义，开辟了豫南根据地；1929年11月，舒传贤等领导了安徽六安、霍山农民、士兵起义，开辟了皖西根据地。1930年4月，成立了中共鄂豫皖边特委. 1930年6月，召开鄂豫皖第一次工农兵代表大会，宣布成立鄂豫皖特区苏维埃政府。1931年，红军攻占光山县新集（今新县县城）后，将三个根据地连接成鄂豫皖苏区。