，派时任都督的彭乐率甲骑装作攻打他们，高欢长子高澄等都害怕、归服，只有次子高洋勒众与彭乐相斗，彭乐脱下甲胄，向高洋说了情况，高洋仍然把彭乐擒住，献给高欢。永熙三年（534年）六月，北魏孝武帝正图谋讨伐高欢，高欢上表陈说自己的军事规划，其中提到准备派遣恒州刺史库狄干、瀛州刺史郭琼、汾州刺史斛律金和“前武卫大将军彭乐”率兵四万渡河。孝武帝意识到高欢觉察到自己的意图了，七月逃奔关中投靠宇文泰。九月，高欢另立清河王世子元善见为帝，北魏分裂为东魏和宇文泰为丞相掌权的西魏。天平四年（537年）十月，彭乐随高欢西