前往大陆，进入上海大学社会学系就读，受业于瞿秋白、任弼时等教授，此时期受社会主义薰陶，加上感受到台籍菁英受到日本总督府的压制，蔡孝干逐渐成为台湾左翼尖兵，与张我军唱和，并在报纸上展开中国前途的论战。1926年蔡孝干任台湾文化协会中央委员，参加反日本帝国主义运动。蔡孝干参与了「上海台湾青年会」，并在上海与张深切、林维金、洪缉洽成立了「台湾自治会」结识谢雪红，蔡孝干加入「台湾黑色青年同盟」，简吉等另组台湾农民组合，1920年代末期东京台湾青年会左倾之后，台湾黑色青年同盟这个左翼组织与台湾文化协会连温卿结合，