怀景、姚元崇都与他友善，都倾朝同赋诗以饯行，为近代未有之事。
唐中宗复位年间.神龙元年（705年），张柬之、崔玄暐、桓彦范、敬晖、袁恕己五人，领导神龙革命，推翻武则天，复立先前曾登基为唐中宗的太子李显，张崔等五人俱封为王，史称「五王」。但随后，武则天之侄梁王武三思私通掌权的中宗韦皇后，并获得中宗宠信。五月，五王上表要求对武三思等武家人予以贬爵时，没人敢为五王作表，只有岑羲愿意，且语气激切。诸武被降封。后来武三思成功将五王贬出中央，任岑羲为表面荣耀实则无权的秘书少监。二年（706年）