义祐抵达丰后国后与大友宗麟会面，请大友出兵协助收复日向国。宗麟一口答应，自己也希望将日向国纳入天主教会国土，于天正6年（1578年）攻灭佔据门川的土持氏，但在耳川以南与岛津氏的战斗却大败而回（耳川之战）。与大友氏唇齿相依的义祐一行人，加上传出宗麟的儿子大友义统企图染指祐兵的夫人阿虎之方，于是义祐与儿子祐兵20余人（义贤留在大友处）前往伊予国投靠河野通直，藏匿在大内荣运的知行地里，主从的生活困顿，全赖家臣河崎祐长以造酒营生。之后天正10年（1582年），义祐从伊予前往播磨国。由于同族的伊东长实仕于羽柴秀吉