屡次诋毁乐恢，乐恢仍举荐杨政的儿子为孝廉。后来乐恢被征辟到司空牟融府。此时正好蜀郡太守第五伦代替牟融任司空，乐恢认爲他和第五伦同郡，所以不愿留任，推荐颍川杜安后离开。许多人士都赞赏他的行为，好几次受征召，乐恢都没有前往任职。朝廷征召乐恢任议郎。当时车骑将军窦宪出征匈奴，乐恢数次上书谏争，朝廷表彰他的忠心，入朝担任尚书仆射。河南尹王调、洛阳令李阜与窦宪交情深厚，放纵不受拘束。乐恢劾奏王调、李阜，牵连到司隶校尉。乐恢检举都毫无忌讳，权贵们相当讨厌他。窦宪的弟弟夏阳侯窦瓌想与乐恢结交，乐恢谢绝不和他来往。窦宪