获拜授司空。北齐建立，潘乐负责奉上玺绶，并封河东郡王、迁任司徒。宇文泰东至崤山，遣派行台侯莫陈崇自齐子岭攻打轵关；仪同杨檦则从鼓钟道出建州，令他陷入孤境。潘乐召集各士兵防御，他自己连夜赶到长子，派遣仪同韩永兴从建州西边靠近侯莫陈崇，于是侯莫陈崇离去。侯景叛变，潘乐出任南道大都督讨伐，自石鳖南行百多里到南梁泾州。其时侯景改泾州为怀州，潘乐攻佔后复名泾州，之后又攻克安州。其后他担任瀛州刺史，仍巡行淮汉。天保六年（555年），他在悬瓠去世，朝廷追赠假黄钺、太师、大司马、尚书令。