期间，最为人称道的是于1955年大破钻石山14K群英大会。当时有百余名14K黑社会份子在钻石山一所学校内大排筵席，吕乐不动声色，带队一网打尽。自此吕乐以扫荡黑社会而闻名，亦成为他晋升的功绩及基石。1956年，香港发生右派双十暴动。由于吕乐对14K及新义安等黑社会的组织及人士十分熟悉，故此其技大派用场，受到高层关注及重用。由于吕乐表现出色，同年获晋升至新界区探长，驻守荃湾警署。此后，荃湾警署的杂差房被用作为新界区的刑事侦缉处办事处。1958年，调至油麻地警署接任退休的刘福。1962年，警队重置总探长一