但藤原三位入道怎么能跟从羽柴氏呢？」因此拒绝面谒。
临终.义祐在播磨短暂停留后，于天正12年（1584年）跟着祐兵的随从黑木宗右卫门尉前往中国地方流浪，最后落脚于周防国山口的旧家臣处。之后与黑木分手独自旅行，但不幸染病而试图往堺的方向（祐兵的宅邸）前去。但在搭船过程中由于生病体衰，被船主嫌弃而抛弃在沙滩上，偶然间被祐兵的随从（一说为祐兵夫人）发现并带往堺就医，但药石无效而死去，享年73。