仔、佐敦及油麻地的娱乐场所和非法赌档的数目大增，带来严重的社会问题，香港传媒作出严厉批评。当时，吕乐和各大社区的主持皆有联络。贪腐的外籍警官 (如总警司葛柏和警司韩德等)，只有顾及自身利益，丝毫不顾民情，让那些本为香港地域性的社团，壮大演变成声名狼借的三合会，远播世界。这些不法社团包括前中华民国设于广州的情报机关14K、中上环一带码头搬运工所成立的五邑工会和合图、以潮州水上人为主的同乡会新义安及原为安乐汽水厂职工工会的水房。1962年，蓝刚在九龙区升任为总探长，隋即与吕乐对调位置，本来的目的是想削弱吕乐