刺史的高欢出兵山东，彭乐随从。六月，从侧面马上擒杀出城劳军的殷州刺史尔朱羽生。中兴二年（532年）闰三月，尔朱荣从子并州刺史尔朱兆发兵袭击时任丞相、柱国大将军、太师的高欢，史称韩陵之战，彭乐先登陷阵，敌军大溃，彭乐封乐城县公。后以军功，进爵汨阳郡公，除授肆州刺史。尔朱氏旧将卢曹有勇力，但不愿为高欢所用，逃奔海岛，得到长人的骨头，将其长一丈六尺的胫骨制成二槊，将其中之一送给高欢，诸将都不能用，只有彭乐勉强能举起。高欢诸子年幼时，高欢想看他们的意志，让他们各自率兵四出，派时任都督的彭乐率甲骑装作攻打他们