他为太子宾客，没有就任。谯王李重福之乱，武攸绪被诬陷而下狱，张说上表请把他安置在庐山，中书令姚元崇上奏：「武攸绪在则天时没有出来违规，现在州县逼迫发遣，士人惊叹。愿下诏赐他嵩山旧居，令州县存问。」睿宗同意了。开元二年（714年），武攸绪又请到庐山居住，唐玄宗不许。仍令州县多加存问，不令外人侵扰。开元十一年（723年）卒，时年六十九岁。其子武若讷。