从建州西边靠近侯莫陈崇，于是侯莫陈崇离去。侯景叛变，潘乐出任南道大都督讨伐，自石鳖南行百多里到南梁泾州。其时侯景改泾州为怀州，潘乐攻佔后复名泾州，之后又攻克安州。其后他担任瀛州刺史，仍巡行淮汉。天保六年（555年），他在悬瓠去世，朝廷追赠假黄钺、太师、大司马、尚书令。