次送礼请乐恢，乐恢都不作答复。乐恢担任本郡郡吏，太守犯法被杀，太守的朋友们不敢前往哀悼，只有乐恢奔丧穿孝服，因而被免官抵罪。后来乐恢又当郡里的功曹，依然刚正严格，不因私枉法。同郡的杨政屡次诋毁乐恢，乐恢仍举荐杨政的儿子为孝廉。后来乐恢被征辟到司空牟融府。此时正好蜀郡太守第五伦代替牟融任司空，乐恢认爲他和第五伦同郡，所以不愿留任，推荐颍川杜安后离开。许多人士都赞赏他的行为，好几次受征召，乐恢都没有前往任职。朝廷征召乐恢任议郎。当时车骑将军窦宪出征匈奴，乐恢数次上书谏争，朝廷表彰他的忠心，入朝担任尚