耐德铁厂工作，成为该厂一万多名华工（全场工人约三万）之一，负责拉钢条、轧钢板和卸车等杂务。当时在法的许多中国工人没有人身自由，赵世炎设法为法部分华工解除了合同，使他们重获自由。为了团结中国工人，他成立了华工组合书记部。1921年6月中旬，他和周恩来、陈毅发起了巴黎“拒款委员会”，反对北洋政府以印花税、契税和转让滇渝铁路修筑权的代价向法国借款3亿法郎。6月30日，他主持会议，通过了《反对中法借款宣言》。同年，利用庚子赔款创办里昂中法大学的李石曾招收亲戚子弟，赵世炎与蔡和森发起“争回里大”、佔领里昂中法