司马伦于永康二年（301年）篡位称帝，乐广与满奋及崔随奉玺绶授予司马伦。乐广后来迁吏部尚书、尚书左仆射，永宁元年（301年）司马繇将任尚书左仆射，乐广于是转任尚书右仆射，领吏部。后接替升任司徒的王戎任尚书令。成都王司马颖与河间王司马颙进攻长沙王司马乂，围攻洛阳时，因为乐广的女儿是成都王妃，故此作为当时朝望的乐广受到诽谤。司马乂亦因而去问乐广，不过乐广神色不变，答：「我怎会为了一个女儿而换掉了我家五个男子的性命。」意谓不会因为女儿而依附司马颖，换来五人被司马乂诛杀。不过司马乂未因此释疑，乐广亦于太安三