因涉嫌诈欺而被解职，但后来在明治卅五年（1902年）复职，入凤山警察单位担任巡察，二年后又遭行政告诫而辞职。而后余清芳到台南县关帝庙区（今台南市关庙区）役所担任书记，但做不到两个月又因故离职。此后余清芳投入斋教活动，出入各地斋堂。1908年清芳因传播斋教过程中，鼓吹信徒反日，又参加抗日团体“二十八宿会”，“二十八宿会”是嘉义朴子商人丁鹏所发起，丁鹏自称会符咒法术，又说清朝北洋军即将攻打台湾，要民众参加其会，共同反日，这些说词都影响了日后的余清芳。不久“二十八宿会”遭到公家破获，清芳遭捕入台东「加路兰浮浪