令，义政仍不允许他们继承当主之位。次年举办劝进能，并且计划隐居。由于义政无子，便让弟弟义寻还俗，改名义视，收为养子，当作继承人。但是在宽正六年（1465年），日野富子出乎意料之外的为义政生下了一个男子，也就是足利义尚。富子希望义尚继任将军，因此拉拢山名宗全；而另一方面，足利义视向管领细川胜元靠拢。发现家族中就继承问题出现分歧后，足利义政拒绝辞去将军职，一直使用拖住的方法来逃避这个问题，另一方面对文化的兴致不减。宽正二年（1461年），足利义政下令罢去斯波义宽家督之位，由澁川义镜之子义廉继任斯波氏当主