导他，最终不愿任职，武则天才觉得他很奇特。武攸绪盘桓在龙门、少室之间，冬天用茅椒遮蔽，夏天居住在石室，所赐金银铛鬲、野服，王公所送鹿裘、素障、瘿杯，都积满尘土，不再使用。在颍阳买田，让家奴耕作，混同于平民。晚年肌肉削减，瞳孔有紫光，白天能看见星星。唐中宗即位，降封巢国公，派遣国子司业杜慎盈安车备礼征召他。武攸绪应召至都，担任太子宾客。不久请归嵩山，皇帝同意了，令京官五品已上到定鼎门外为他饯行。安乐公主出嫁，又派通事舍人李邈带着玺书迎接他。将至，唐中宗敕有司在两仪殿为他设位。他行问道礼，中宗同意他觐见之日