大友氏の大敗は、居候同然の義祐一行への風当たりに繋がり、また宗麟の息子・義統が祐兵夫人・阿虎の方を奪おうとしているとの噂があったため、義祐は子の祐兵ら20余人を連れ（義賢は大友に残される）伊予国に渡って河野氏を頼り、河野通直の一族・大内栄運の知行地に匿われた。
与大友氏唇齿相依的义祐一行人，加上传出宗麟的儿子大友义统企图染指祐兵的夫人阿虎之方，于是义祐与儿子祐兵20余人（义贤留在大友处）前往伊予国投靠河野通直，藏匿在大内荣运的知行地里，主从的生活困顿，全赖家臣河崎祐长以造酒营生。