虽然聪颖过人但因父亲去世、家中贫困等因素，而在十二、三岁时中辍学业，先后到左营庄曾绍房的米店、林姓杂货店工作。在工作之余，他利用夜间到旧城公学校（今日左营区旧城国小）学习日语。明治卅二年（1899年）考选为台南警员，担任巡查补，分发到阿公店支厅（今高雄市冈山区）。次年（1900年）因涉嫌诈欺而被解职，但后来在明治卅五年（1902年）复职，入凤山警察单位担任巡察，二年后又遭行政告诫而辞职。而后余清芳到台南县关帝庙区（今台南市关庙区）役所担任书记，但做不到两个月又因故离职。此后余清芳投入斋教活动，出入各地斋