染指祐兵的夫人阿虎之方，于是义祐与儿子祐兵20余人（义贤留在大友处）前往伊予国投靠河野通直，藏匿在大内荣运的知行地里，主从的生活困顿，全赖家臣河崎祐长以造酒营生。之后天正10年（1582年），义祐从伊予前往播磨国。由于同族的伊东长实仕于羽柴秀吉担任黄母衣众，与祐兵取得联系后，打算经由斡旋请求秀吉协助复国，于是劝义祐谒见秀吉，但义祐答说：「虽然是流浪之身，但藤原三位入道怎么能跟从羽柴氏呢？」因此拒绝面谒。
临终.义祐在播磨短暂停留后，于天正12年（1584年）跟着祐兵的随从黑木宗