金兵再度南侵，渡过长江，吕颐浩曾请高宗登船入海避敌。宋朝立国重文轻武，故相权与军权乃分。南宋初期，兵马倥偬，因此有宰相兼领军权者，吕颐浩即为其一。此时吕颐浩位高权重，“枢府几无所预，颐浩在位尤颛恣”，因此为人所惮。建炎四年（1130年），浙西制置使韩世忠困金将完颜宗弼于黄天荡，吕颐浩建议高宗亲征，御史中丞赵鼎即以冒进为由上疏，吕颐浩因此请辞，被命为镇南军节度、开府仪同三司、醴泉观使。后改任江东安抚制置大使兼知池州。绍兴元年（1131年），吕颐浩二度拜相，任少保、尚书左仆射、同中书门下平章事兼