此后一别再未能见面。1928年8月，马尚德被党组织调到开封和洛阳等地从事地下工作。1928年底党组织派他去上海参加第一期军政干部培训班，周恩来曾为该班讲过课。
在东北的前期活动.1929年3月，马尚德从上海坐火车到沈阳准备去苏联学习。等签证期间，他以工人身份领导了日本控制的抚顺煤矿的工人运动。1929年7月14日，刘少奇到沈阳任满洲省委书记。刘少奇问他是愿回上海还是留在东北。马尚德表示愿意留下。于是满洲省委任命他为中共抚顺特别支部书记，担任省委常委，化名张贯一(使用母亲姓，又以