不受命而没有做，遂以皇太后令方式探听攸之对征还的意向，但攸之自称自己没有作朝内任职的才能，反倒能在外镇守疆上做点贡献，更以退为进称「岂敢厝心去留，归还之事，伏听朝旨」，朝廷闻言后更是恐惧，再没讨论征还之事了。元徽四年（476年），南豫州刺史、建平王刘景素于京口起兵，攸之当时正在进攻崃中蛮，闻讯后立即召还军队打算勤王，但当时巴东太守刘攘兵及建平太守刘道欣怀疑攸之是想作乱，反命人阻断三崃，不让军队退还。攸之于是派了时任荆州西曹的刘攘兵侄儿刘天赐告知真相，命其解甲，攘兵于是解甲归罪，攸之亦没作追究，继续任用他