言反对李义府，于是复拜为东台舍人。累迁西台侍郎，麟德元年（664年）十二月，在太子右中护、检校西台侍郎任上被授同东西台三品，为实质宰相。二年（665年）四月，和孙处约一同罢相。干封元年（666年）代刘仁轨为大司宪。咸亨元年（670年），逻娑道行军大总管薛仁贵和副总管郭待封、阿史那道真大败于吐蕃相论钦陵，高宗敕乐彦玮去军中调查战败情况，将三将都械送京师，高宗免他们死罪，皆除名。后来乐彦玮的官职改回旧名御史大夫。乐彦玮认为下属两名御史不够，加设副承诏一人。上元三年（676年），乐彦玮卒，赠秦州都督（《新唐书》本