1934年2月，曾山再次被选为中华苏维埃共和国中央执行委员，担任中央政府内务部部长。1934年10月任中共江西省省委书记兼江西军区政治委员。在中央红军长征后，留在苏区打游击。1935年5月，因红军游击队损失惨重，曾山潜往上海，后被派赴苏联，同年8月入国际列宁学校学习。
中日战争与第二次国共内战时期.曾山于1937年冬回国，任中共中央东南分局副书记兼组织部部长，并兼新四军驻江西办事处主任，协助项英组建新四军。1938年8月，曾山兼任中共江西省委书记。1939年，曾山任中共中央东南局副书