书门下平章事兼知枢密院事，与秦桧共相，吕颐浩主外而秦桧主内。绍兴二年（1132年），再受命都督江、淮、荆、浙诸军事，并于镇江（今中国江苏省镇江市）开都督府；此年因韩世忠之驻军，吕颐浩与朱胜非创立月桩钱（一种赋税），供给军用。然其好任用私人，因此排挤秦桧、李纲、李光等人。绍兴三年（1133年），吕颐浩再被罢相，任镇南军节度使、开府仪同三司、提举洞霄宫，改特进、观文殿大学士。其后官职累迁，然已非在权力核心，绍兴五年（1135年），封成国公。绍兴九年（1139年），金国归还黄河以南之地，高宗欲调吕颐浩至陕西镇