中服刑时，他创作了《台湾自治歌》。1927年（昭和2年）文化协会分裂，蔡培火因不满协会有同志搞阶级斗争，加之与连温卿主张不合，因而脱离文化协会并与蒋渭水共组台湾民众党，但之后因蒋渭水大力支持工农运动，蔡即对蒋产生不满。1929年，他在台南举办「台湾白话字第一回研究会」，共举办三期，之后日本当局以「恐有影响于日语的普及，有碍教育方针」为由加以禁止；同时，他将歌曲《咱台湾》写作完成。1930年（昭和5年）8月蔡培火又因不满党内同志主张社会主义和工农运动，于是联合杨肇嘉等人另组台湾地方自治联盟，12月遭台湾