亡以后，他成为尔朱荣部下别将，讨伐元颢有功获封敷城县男。高欢出牧晋州，潘乐出任镇城都将，陪同高欢在广阿打败尔朱兆，进爵广宗县伯，后来累积军功拜授东雍州刺史。当时高欢曾建议废除东雍州，他就解释东雍地带山河和胡蜀相连，不宜废除，于是作罢。高欢在河阴大败宇文泰后想乘胜追击，于是命想追击者站在西边，不愿者站东边；结果只有潘乐和刘丰站在西边，高欢考虑众人意见后取消行动，并改封潘乐为金门郡公。高洋执政后，他镇守河阳，击破西魏将领杨檦等人；魏孝静帝以怀州刺史平鉴筑城深入敌境，打算放弃，唯他指出轵关位处要害，必须防固。