五人俱封为王，史称「五王」。但随后，武则天之侄梁王武三思私通掌权的中宗韦皇后，并获得中宗宠信。五月，五王上表要求对武三思等武家人予以贬爵时，没人敢为五王作表，只有岑羲愿意，且语气激切。诸武被降封。后来武三思成功将五王贬出中央，任岑羲为表面荣耀实则无权的秘书少监。二年（706年），修文馆置八学士，岑羲在其中，从元年十二月起，与魏元忠、武三思、祝钦明、徐彦伯、柳冲、韦承庆、崔融、徐坚等撰《则天皇后实录》二十卷（或作三十卷）。三年（707年）五月前后，岑羲任吏部侍郎，和同僚崔湜、太常少卿郑愔、大理少卿李元恭一同负