自己的邻居与同学建立起自己的角头势力，并在华西街上以收取摊贩及店家保护费进行围事为主要活动。1970年间，吕荣辉因杀人案入狱管训七年。1978年出狱后回到万华，重新于华西街、广州街一带崛起，并以「华西街」名号成为华西街老大，与同地缘关系的「芳明馆」、「头北厝」等知名角头互相抗衡。「细汉他K」吕荣辉的名号远近驰名，因此形成一个新的角头势力。1997年，台北市废除公娼制度，强力扫荡台北市内公私娼、妓院等行业，导致仰赖「宝斗里」风化区为生且内讧不断的芳明馆角头逐渐没落，华西街一带的帮派势力因此重新洗牌。此消彼