于1973年偕同妻子与8名子女移民加拿大。1974年廉政公署成立后，因吕乐资产高达五亿港元，财富官职不相称，随即成为追缉的最大目标。1977年香港法院正式向已经移居台湾的吕乐追讨部分财产，合计港币九百九十三万八千二百二元。1979年，吕乐于台湾台北市东区敦化南路购买了一所公寓豪宅，自此于台北长居30多年，生活低调朴实且亲切有礼，邻居多半不知道他的过去与来历，在先前，他居住过北投区关渡圣景路上之别墅。他的八名子女中，女儿取得中华民国国籍，担任台湾公务员。七名儿子都在加拿大发展，吕乐期间亦有往返加拿大。