氏直而惹怒了秀吉并失势。后来被赦免，但没有回复原有的政治影响力。天正17年（1589年）3月，与细川信良和尾藤知信一同被卷入在聚乐第发生的涂污书物事件而一时间被捕缚。庆长5年（1600年）逝世。法名是卫阳院殿庞山蕴公大居士。在万治元年（1658年）时于妙心寺大岭院有他的位牌和臂鹰画像。
逸话.没落后的义银仍然以足利一门中第一家门的当主而为人所知。在天正年间，德川家康和山名禅高一同前往义银的屋敷探访之际，禅高向义银的对答显露出过于慇懃的态度，后来禅高被家康以「义银是管领家所生，充其量