儿子──吕诚和吕实的名义，成立渭滨置业有限公司，并以上述公司之名购买位于沙田的博雅山庄。除地产外，吕乐离开香港后，仍然有zh-hans:遥控; zh-hant:遥距控制;经营。于1970年代开了15间，于加拿大也有分店。吕乐于沙田大围的物业博雅山庄已被政府及债权人没收，及后大部份的建筑物均先后因为城门隧道工程，以及被地产商收购作兴建住宅而被拆卸，现时只余下门楼及部份围墙。