由于今参局诅咒的缘故，将其流放于琵琶湖的沖之岛。此后日野富子与伊势贞亲、季琼真蘂等将军侧近之人权势日益强大。在此期间饥荒和自然灾害接踵而至，尤其是1461年的宽正大饥馑，京都受害非常严重，据说贺茂川上漂着全是饿死者的尸体。然而足利义政却建造自己的邸宅和日本庭园，沉迷于猿乐与酒宴之中。在宽正大饥馑期间，足利义政不理政事，而且不顾后花园天皇的劝告，继续改建自己的邸宅花之御所，因此恶名很高。宽正四年（1463年），义政的母亲日野重子病逝，义政赦免了畠山义就以及斯波义敏父子，但仅仅是解除了讨伐令，义政仍不允许他