，五王上表要求对武三思等武家人予以贬爵时，没人敢为五王作表，只有岑羲愿意，且语气激切。诸武被降封。后来武三思成功将五王贬出中央，任岑羲为表面荣耀实则无权的秘书少监。二年（706年），修文馆置八学士，岑羲在其中，从元年十二月起，与魏元忠、武三思、祝钦明、徐彦伯、柳冲、韦承庆、崔融、徐坚等撰《则天皇后实录》二十卷（或作三十卷）。三年（707年）五月前后，岑羲任吏部侍郎，和同僚崔湜、太常少卿郑愔、大理少卿李元恭一同负责选官。当时，崔、郑、李都以腐败闻名，只有岑羲正直，为时议所美。陆浑主簿崔沔任满调迁，岑羲很赏识重