早年.自小家境贫寒，8岁丧父，靠母亲帮佣的微薄收入为生。早年就读于常州府中学堂，1915年考入天津北洋大学法科。1919年积极参加五四运动，发起组织「社会建设会」，后被大学开除。
组建中共.1920年8月赴北京，参加李大钊、张申府组织的共产主义小组。1920年10月，张太雷和邓中夏等一起加入李大钊发起成立的北京的中国共产党早期组织，成为中国共产党最早的党员之一。此后，他与邓中夏开展工人运动，到长辛店组建劳动补习学校，培养了中国北方铁路工人运动的第一批干部。之后返回天津，组织天