伯父武士让的孙子。
生平.武攸绪恬淡寡欲，喜欢周易、庄周书。父亲武惟良被唐高宗、武则天处死。武攸绪少年时有志行，改变姓名，卖卜在长安市，得钱就委弃而离去。后来为官担任太子通事舍人。天授年间，封安平郡王，转任殿中监，出为扬州大都督府长史，转任鸿胪少卿。圣历年间，跟随武则天封中岳嵩山，于是辞官，愿隐居嵩山。武则天疑其有诈，同意了，观其所为。武攸绪在巖下结草屋，以琴书药饵为务。武则天派遣其兄武攸宜敦促开导他，最终不愿任职，武则天才觉得他很奇特。武攸绪盘桓在龙门、少室之间，冬天用茅椒遮蔽