30多年，生活低调朴实且亲切有礼，邻居多半不知道他的过去与来历，在先前，他居住过北投区关渡圣景路上之别墅。他的八名子女中，女儿取得中华民国国籍，担任台湾公务员。七名儿子都在加拿大发展，吕乐期间亦有往返加拿大。2010年5月13日，患胃癌末期的吕乐于加拿大病逝，终年89岁。即使廉政公署早在1974年已成立并通缉吕乐，但始终无法将他引渡回港。后葬于加拿大温哥华。
轶事.吕乐相信自己是道教全真派祖师吕祖之后，其父吕君博，又名吕古，人称「五叔」，是一位读书人，其母为颜谭妹。于长洲教堂