圆圈（「吕」），一个向下的箭头（「落」，谐音「乐」），而后才苦学而识字。吕乐对此传言很生气，还说自己在香港沦陷时期办过《香港人报》，但有关此报纸的资料甚少。吕乐有一位有黑社会背景的亲戚姑丈──新义安龙头坐馆向华炎，向华炎是吕乐叔祖父吕六之女婿，吕乐的姑姑为吕杏华。吕乐一家共有7子1女，7子全部居于加拿大，其女为中华民国国籍，现任公务员。污点证人韩德指出，吕乐拥有至少5亿港元身家，因此，电影有「五亿探长」之名。污点证人吴钖豪指出，当年他每1至2个月，需要向吕乐进贡30,000到40,000港元。