后来才将「相贵」改为他的字。长大后，潘乐个性宽厚而有胆色，曾跟从葛荣受封京兆王，当时他十九岁。葛荣败亡以后，他成为尔朱荣部下别将，讨伐元颢有功获封敷城县男。高欢出牧晋州，潘乐出任镇城都将，陪同高欢在广阿打败尔朱兆，进爵广宗县伯，后来累积军功拜授东雍州刺史。当时高欢曾建议废除东雍州，他就解释东雍地带山河和胡蜀相连，不宜废除，于是作罢。高欢在河阴大败宇文泰后想乘胜追击，于是命想追击者站在西边，不愿者站东边；结果只有潘乐和刘丰站在西边，高欢考虑众人意见后取消行动，并改封潘乐为金门郡公。高洋执政后，他镇守河阳，