，吕荣辉因杀人案入狱管训七年。1978年出狱后回到万华，重新于华西街、广州街一带崛起，并以「华西街」名号成为华西街老大，与同地缘关系的「芳明馆」、「头北厝」等知名角头互相抗衡。「细汉他K」吕荣辉的名号远近驰名，因此形成一个新的角头势力。1997年，台北市废除公娼制度，强力扫荡台北市内公私娼、妓院等行业，导致仰赖「宝斗里」风化区为生且内讧不断的芳明馆角头逐渐没落，华西街一带的帮派势力因此重新洗牌。此消彼长，「细汉他K」吕荣辉的角头势力逐步取代芳明馆控制华西街一带，并从事收取商店保护费、暴力讨债、围事、赌博