福永祐友、米良矩重等人遭岛津氏策反，在岛津军节节进逼下，伊东义祐决定放弃大本营佐土原城。祐兵和父亲同行，从米良山中经高千穗逃往丰后国，投靠姻亲大友宗麟。大友宗麟为了义祐及其孙义贤，而且自己也有着夺下日向国建设成天主教圣地的大愿，因而发兵攻击日向国。大友氏在耳川之战遭到岛津氏大败后，因为担心遭到迁怒，祐兵留下和大友氏有血缘关系的义贤和祐胜、和父亲连同河崎祐长权助父子等20余人偷偷从丰后国逃离，前往伊予国投靠河野氏。可是一行人在此也不能过着满足的生活，河崎祐长甚至以造酒营生。之后，在播磨国姬路城得羽柴秀