以其父为名的幼儿学院，为吕乐捐建的。相传吕乐从警时原为文盲，所以签名皆为两个圆圈（「吕」），一个向下的箭头（「落」，谐音「乐」），而后才苦学而识字。吕乐对此传言很生气，还说自己在香港沦陷时期办过《香港人报》，但有关此报纸的资料甚少。吕乐有一位有黑社会背景的亲戚姑丈──新义安龙头坐馆向华炎，向华炎是吕乐叔祖父吕六之女婿，吕乐的姑姑为吕杏华。吕乐一家共有7子1女，7子全部居于加拿大，其女为中华民国国籍，现任公务员。污点证人韩德指出，吕乐拥有至少5亿港元身家，因此，电影有「五亿探长」之名。污点证人