学士、朝官五品以上，都在城东为他送别。武三思、武延秀诸武与韦后、韦温等诸韦被诛，这些政变因为武攸绪隐居不参预，被时论称道。唐睿宗即位，恐其不自安，下诏安慰他。征召他为太子宾客，没有就任。谯王李重福之乱，武攸绪被诬陷而下狱，张说上表请把他安置在庐山，中书令姚元崇上奏：「武攸绪在则天时没有出来违规，现在州县逼迫发遣，士人惊叹。愿下诏赐他嵩山旧居，令州县存问。」睿宗同意了。开元二年（714年），武攸绪又请到庐山居住，唐玄宗不许。仍令州县多加存问，不令外人侵扰。开元十一年（723年）卒，时年六十九岁。其子武若讷