1967年，警队为了压制猖獗的贪污活动，对调了吕乐与蓝刚的辖区，以避免他们「在地生根」，发展成为盘根错节的关系。翌年，吕乐提前退休。于1973年偕同妻子与8名子女移民加拿大。1974年廉政公署成立后，因吕乐资产高达五亿港元，财富官职不相称，随即成为追缉的最大目标。1977年香港法院正式向已经移居台湾的吕乐追讨部分财产，合计港币九百九十三万八千二百二元。1979年，吕乐于台湾台北市东区敦化南路购买了一所公寓豪宅，自此于台北长居30多年，生活低调朴实且亲切有礼，邻居多半不知道他的过去与来历，在先前，他