之后，其父吕君博，又名吕古，人称「五叔」，是一位读书人，其母为颜谭妹。于长洲教堂路7号的路德会吕君博幼稚园乃以其父为名的幼儿学院，为吕乐捐建的。相传吕乐从警时原为文盲，所以签名皆为两个圆圈（「吕」），一个向下的箭头（「落」，谐音「乐」），而后才苦学而识字。吕乐对此传言很生气，还说自己在香港沦陷时期办过《香港人报》，但有关此报纸的资料甚少。吕乐有一位有黑社会背景的亲戚姑丈──新义安龙头坐馆向华炎，向华炎是吕乐叔祖父吕六之女婿，吕乐的姑姑为吕杏华。吕乐一家共有7子1女，7子全部居于加拿大，其女为中华