其父乐彦玮在唐高宗在位时曾担任宰相。691年，武则天任命乐思晦为鸾台侍郎（黄门侍郎）、同凤阁鸾台平章事。四个月后，乐思晦被处死，他不到十岁的儿子，被发往司农寺为奴。乐思晦之子在左台中丞来俊臣诬告同平章事任知古、狄仁杰、裴行本、司农卿崔宣礼、前文昌左丞卢献、御史中丞魏元忠、潞州刺史李嗣真七位大臣谋反的时候，上书武则天：“臣父已死，臣家已破，但惜陛下法为俊臣等所弄。陛下不信臣言，乞择朝臣之忠清、陛下素所信任者，为反状以付俊臣，无不承反矣。”武则天心有所动，最终决定召见七位大臣，询问为何狱中已自承谋反。