时高欢曾建议废除东雍州，他就解释东雍地带山河和胡蜀相连，不宜废除，于是作罢。高欢在河阴大败宇文泰后想乘胜追击，于是命想追击者站在西边，不愿者站东边；结果只有潘乐和刘丰站在西边，高欢考虑众人意见后取消行动，并改封潘乐为金门郡公。高洋执政后，他镇守河阳，击破西魏将领杨檦等人；魏孝静帝以怀州刺史平鉴筑城深入敌境，打算放弃，唯他指出轵关位处要害，必须防固。于是潘乐修理城池，添置士兵将领，不久还镇河阳，获拜授司空。北齐建立，潘乐负责奉上玺绶，并封河东郡王、迁任司徒。宇文泰东至崤山，遣派行台侯莫陈崇自齐子岭攻打轵关