伊東義祐
落合兼朝の裏切りにより、義祐は己の今までの愚行に気付き切腹しようとするが家臣らに止められる。一行は財部に入るのを諦め、西に迂回し米良山中を経て、高千穂を通って豊後に抜けるルートを通ることにした。女子供を連れての逃避行はかなり辛く苦しく、また険峻な山を猛吹雪の中 進まねばならず、当初120~150名程度だった一行は、途中崖から落ちた者や、足が動かなくなって自決したものなどが後を絶たず、また島津からの追撃や山賊にも悩まされ、豊後国に着いた時はわずか80名足らずになっていたという(豊後落ち)。その中には後に天正遣欧少年使節の一人となる伊東マンショの幼い姿もあった。
豊後に到着した義祐は大友宗麟と会見し、日向攻めの助力を請うた。宗麟はその願いを受け、また自身も日向をキリスト教国にする野望を抱き、天正6年(1578年)に門川の土持氏を攻め滅ぼし、耳川以南で島津氏と激突(耳川の戦い)。しかし大友氏は島津氏に大敗を喫してしまう。大友氏の大敗は、居候同然の義祐一行への風当たりに繋がり、また宗麟の息子・義統が祐兵夫人・阿虎の方を奪おうとしているとの噂があったため、義祐は子の祐兵ら20余人を連れ(義賢は大友に残される)伊予国に渡って河野氏を頼り、河野通直の一族・大内栄運の知行地に匿われた。
その後、天正10年(1582年)に義祐らは伊予から播磨国に渡る。ここで祐兵は織田信長の家臣・羽柴秀吉に仕えていた同族の伊東長実の縁を得て、その斡旋で秀吉の扶持を受けるようになった。
松本清張『三位入道』(講談社文庫・『奥羽の二人』収録)
義祐は窮する事態に人心一新を図ったものか、次男・義益の嫡男で嫡孫の義賢に家督を譲る。
同年12月、野尻城主・福永祐友が、島津方である高原城主・上原尚近の説得を受け入れ、島津方に寝返ってしまった。福永氏は伊東氏とは姻戚関係にあった為、この謀反は義祐は勿論、他氏族への大きな衝撃になった。これを知った内山城主の野村刑部少輔文綱(野村松綱の子)、紙屋城主・米良主税助も島津方に寝返った為、佐土原の西の守りは完全に島津氏の手中に収められてしまったのである。さすがの義祐も事態の深刻さを受け止め、12月8日、領内諸将を動員してまず紙屋城奪回の兵を出した。ところが、途中で背後から伊東家譜代臣の謀反の動きを察知。即座に反転して佐土原に帰城した。
翌12月9日、佐土原城で事態打開の評定が開かれた。南の島津方は飫肥を越え、佐土原へ攻め寄せるのは必至な状況で、籠城して島津軍を迎撃する声はなかった。同日、城を包囲されて逃亡してきた祐兵も佐土原城に帰着。もはや義祐には残された選択肢はなかった。同日正午過ぎ、義祐は日向を捨て、次男・義益正室の阿喜多の叔父・豊後国の大友宗麟を頼る決断を下したのであった。
本拠である佐土原を捨て、豊後を目指す義祐一行の進路上に、新納院財部城主・落合兼朝も島津氏に迎合して挙兵した報せが入った。落合氏は伊東氏が日向に下向する以前からの重臣で譜代の筆頭格であったが、義祐の寵臣・伊東帰雲斎の専横が元で子息の落合丹後守を殺されており、それを深く恨んでいた。