期间饥荒和自然灾害接踵而至，尤其是1461年的宽正大饥馑，京都受害非常严重，据说贺茂川上漂着全是饿死者的尸体。然而足利义政却建造自己的邸宅和日本庭园，沉迷于猿乐与酒宴之中。在宽正大饥馑期间，足利义政不理政事，而且不顾后花园天皇的劝告，继续改建自己的邸宅花之御所，因此恶名很高。宽正四年（1463年），义政的母亲日野重子病逝，义政赦免了畠山义就以及斯波义敏父子，但仅仅是解除了讨伐令，义政仍不允许他们继承当主之位。次年举办劝进能，并且计划隐居。由于义政无子，便让弟弟义寻还俗，改名义视，收为养子，当作继承人。