为渔民，来到香港后于长洲长大。当差前曾经以擦鞋、派报及拉人力车等工作为生。1940年11月9日，吕乐加入了香港警队。初时为军装巡逻小队的警员，不久后转任为探员。于杂差房驻守时，获得资深探长陈立的赏识和提携，于1951年由探员升任为探目，同时调任于深水埗警署，于1956年升任为高级探目。担任期间，最为人称道的是于1955年大破钻石山14K群英大会。当时有百余名14K黑社会份子在钻石山一所学校内大排筵席，吕乐不动声色，带队一网打尽。自此吕乐以扫荡黑社会而闻名，亦成为他晋升的功绩及基石。1956年，香港发