吕乐与香港足球圈人士相熟，曾经长期包下湾仔白宫酒店517号房，在房内竹战及会见各方人马，并以该酒店房间号码为名，于1950年代创办五一七足球会。吕乐为掩饰来历不明的财富，于1959年至1968年间，以父母名义，先后在尖沙咀、筲箕湾、观塘、沙田、港岛半山及湾仔等，购入当时合共价值约300多万港元的物业。其中于1967年以父母、太太及其中两名仍在求学的儿子──吕诚和吕实的名义，成立渭滨置业有限公司，并以上述公司之名购买位于沙田的博雅山庄。除地产外，吕乐离开香港后，仍然有-{zh-hans:遥控; zh-h