利义政的怠政下也遭遇了兵燹，该年九月十九日，兼良的藏书楼桃华坊被焚，其中的藏书和宝物都化作了灰烬。兼良遂把剩余的文献移至光明峰寺保管，却连同藤原氏祖宗墓地再度被兵乱焚毁。根据本居宣长的推算，至少有三万五千卷书籍于此时流失。不久，其孙一条政房在兵库死于农民一揆。根据《应仁记》的记载，兼良称自己“悔未能生于武家”。随后便把兵库福原庄捐赠给了藤原氏祖庙春日大社和兴福寺。兼良在奈良避难了一段时间，直到文明九年为止。期间，兼良曾应斋藤妙椿之邀赴美浓与之会面并在当地旅行，还在稻叶山城与斋藤利国会过面。兼良于这段旅途中所