7年，刘永福投奔上思县反清组织三合会（又称洪兵）首领郑三的麾下。后至新宁州（今扶绥县），投奔吴凌云，在吴凌云长子吴亚终（又名吴鲲）麾下担任副帅。吴凌云战败被杀后，于同治二年（1863年）六月，自逐卜入下雷州的化峒，投王士林部。同治四年（1865年）正月，左江和右江皆为天地会势力所据，各路势力共推吴亚终为首领、小张三为副首领。刘永福被封为左翼大帅，率领二百余人据守安德，同据守郎家圩的吴亚终、黄崇英互相唿应。刘永福的部众以黑底北斗七星为旗号，这就是黑旗军的前身。不久，清广西提督冯子才率军讨伐，刘永福军粮几绝，自