罢相，任镇南军节度使、开府仪同三司、提举洞霄宫，改特进、观文殿大学士。其后官职累迁，然已非在权力核心，绍兴五年（1135年），封成国公。绍兴九年（1139年），金国归还黄河以南之地，高宗欲调吕颐浩至陕西镇守，吕颐浩以老病请辞。后再赴召至临安（今中国浙江省杭州市），但病未能见到高宗，之后就告归台州养病，四月初一日去世。朝廷追赠太师，封秦国公，谥忠穆（秦忠穆公）。有文集《忠穆集》、《吕忠穆公奏议》、《燕魏杂记》等，多散佚。后人辑有《忠穆集》传世。有子五人：吕抗、吕抚、吕拯、吕搢、吕撝。史载吕颐浩“有胆略