1940年11月9日，吕乐加入了香港警队。初时为军装巡逻小队的警员，不久后转任为探员。于杂差房驻守时，获得资深探长陈立的赏识和提携，于1951年由探员升任为探目，同时调任于深水埗警署，于1956年升任为高级探目。担任期间，最为人称道的是于1955年大破钻石山14K群英大会。当时有百余名14K黑社会份子在钻石山一所学校内大排筵席，吕乐不动声色，带队一网打尽。自此吕乐以扫荡黑社会而闻名，亦成为他晋升的功绩及基石。1956年，香港发生右派双十暴动。由于吕乐对14K及新义安等黑社会的组织及人士十分熟悉，故此其技