1922年，张辅忠经老师李觐唐的介绍，赴上海五洲固本皂药厂工作，任该厂药部主任。1924年在厂内秘密参加国民党。1925年五卅惨案后，积极组织厂内职工参加上海各界罢工、罢市、罢课斗争。1927年四一二事件后，对蒋产生不满，拒绝国民党党籍登记，同年出国留学。他毕业于柏林大学，获药剂化学博士学位。期间参加导师曼尼希主持的科研项目，合作取得有机化学研究成果。1933年（一说1932年）携带在德国购买的机器设备回国，为建立五洲第二制药厂之用。