三度将行，后夺人名。”后来斛律光果然出将入相，位极人臣。武定四年（546年）十二月，高欢病重，对高澄说：“彭乐心腹难得，宜防护之。”高欢死后，高澄继为丞相。
高欢死后.武定六年（548年）三月，彭乐与乐恂等在新城与西魏同轨防长史裴宽作战，擒之。时侯景叛乱，西魏仪同三司王思政趁机入据颍川，四月，高澄命时任肆州刺史斛律金督彭乐、可朱浑道元等出屯河阳，断其奔救之路。次年六月，东魏攻克颍川，俘获王思政。颍川易主后，鲁阳以东都依附东魏，彭乐乘胜攻打镇守鲁阳的西魏南荆州刺史郭贤，不能攻克，退军