卓死后由李傕等人掌权，兴平二年（195年），杨奉领兵叛逃李傕后天子令杨奉众人护送其回洛阳。郭汜联合李傕率领追兵追到弘农的曹阳。杨奉紧急招唤河东故友白波帅韩暹、胡才、李乐抵抗李傕等人，李乐主要负责护卫天子。后杨奉战败，与天子连夜乘船逃走到河东大阳县。天子为张杨迎接，但仍然为杨奉等人胁持。护卫的董承、张杨和汉献帝想回洛阳，李乐、杨奉、胡才等拒绝，想把汉献帝留在河东，导致董承和李乐等人相互攻击，在汉献帝劝和下止战。李乐等服从汉献帝的指令护送汉献帝前往洛阳。途中李乐反悔，诈称路上会遇到匈奴，汉献帝不从，但最终并没有