1977年香港法院正式向已经移居台湾的吕乐追讨部分财产，合计港币九百九十三万八千二百二元。1979年，吕乐于台湾台北市东区敦化南路购买了一所公寓豪宅，自此于台北长居30多年，生活低调朴实且亲切有礼，邻居多半不知道他的过去与来历，在先前，他居住过北投区关渡圣景路上之别墅。他的八名子女中，女儿取得中华民国国籍，担任台湾公务员。七名儿子都在加拿大发展，吕乐期间亦有往返加拿大。2010年5月13日，患胃癌末期的吕乐于加拿大病逝，终年89岁。即使廉政公署早在1974年已成立并通缉吕乐，但始终无法将他引渡回港。