，他镇守河阳，击破西魏将领杨檦等人；魏孝静帝以怀州刺史平鉴筑城深入敌境，打算放弃，唯他指出轵关位处要害，必须防固。于是潘乐修理城池，添置士兵将领，不久还镇河阳，获拜授司空。北齐建立，潘乐负责奉上玺绶，并封河东郡王、迁任司徒。宇文泰东至崤山，遣派行台侯莫陈崇自齐子岭攻打轵关；仪同杨檦则从鼓钟道出建州，令他陷入孤境。潘乐召集各士兵防御，他自己连夜赶到长子，派遣仪同韩永兴从建州西边靠近侯莫陈崇，于是侯莫陈崇离去。侯景叛变，潘乐出任南道大都督讨伐，自石鳖南行百多里到南梁泾州。其时侯景改泾州为怀州，潘乐攻佔后复名