1923年秋天回到中国，在上海和蔡和森，邓中夏一起领导工人运动。同时应瞿秋白的邀请，在上海大学任政治经济学教授。1924年出任中央出版局书记。1925年调至广州，任两广区委军委书记和第六届全国农民运动讲习所教员。1925年“五卅惨案”之后，同张太雷，邓中夏，苏兆征等一起领导了省港大罢工，积劳成疾。1926年，肺病复发，病逝于广州珠江“颐养园”。着有《社会进化史》，译着有《各时代社会经济结构元素表》，这两本书是中国共产党早期宣传马克思主义基本原理的普及读物。现在在剑川县金华镇景风公园设有“张伯简纪念馆”