神戸高工開校時の校地は神戸市水笠通（西代校舎・現長田区水笠通）に所在しており、新制大学移行まで継承された。1945年3月17日未明の空襲により校舎は土木科棟など一部を除いて全焼、戦後の復興にあたって舞鶴の海軍施設への移転も検討されたが、神戸市から市立第一機械工業学校（旧市立松野実業学校。新制市立神戸工業高校機械科→現在の市立科学技術高校の前身）の校舎を提供され、1946年12月に本部を移転する（松野校舎）などして長田区内に留まった。神戸大学への包括後、2つの校地はしばらく同大学の工学部に継承されたが、ほどなくして各学部キャンパスの六甲台への統合移転が本格化、1961年に工学部の移転が開始され1962年8月までに完了した。なお、焼け残っていた土木科棟は工学部の移転後も雑居ビルとして使用されていたが、阪神・淡路大震災後の区画整理事業のため1999年に解体された。現在、元西代校舎跡地の一角、新長田駅北地区5号緑地に 「神戸高等工業学校発祥之地」碑が設置されている。松野校舎跡地は、前記の市立神戸工高や大和田工業高等学校（のち市立長田工業高校と改称）の校地に使用された。同校移転により、現在はマンション（新長田駅前アーバンコンフォートほか）となっている。
木崎原での大敗を契機として、義祐の勢力は次第に衰退してゆく。まず、木崎原の戦いから4年後の天正4年（1576年）には、伊東四十八城の一つである長倉祐政が治める高原城が島津義久の3万の兵に攻められる。義祐は援軍を出すも圧倒的な兵数差のため一戦も交えず、高原城は水の手を断たれやむなく降伏する。その翌日には小林城と須木城を治める米良矩重が義祐への遺恨から島津に寝返り、後難を恐れた近隣の三ツ山城、野首城、更に三ツ山と野尻の堺にある岩牟礼城までも島津に帰する。これによって島津氏領との境界線である野尻と青井岳が逼迫の事態に陥った。野尻城主・福永祐友は何度も義祐に事態打開を訴え出たものの、直参家臣によって訴えは握り潰されてしまった。義祐の家臣団は、境界の実情を知っていながらも、義祐の栄華驕慢の日々を諫止することが出来なかった。これは義祐が諫言をする家臣を遠ざけ、自分に都合のいい家臣だけを側近にしていたためであったとされる。翌天正5年（1577年）に入り情勢はますます悪化する。6月には、南の守りの要である櫛間城が島津忠長によって攻め落とされた。義祐は飫肥城主である三男・祐兵に櫛間への出兵を命じたものの、逆に忠長に反撃され、飫肥本城に敗走。敵に飫肥城を包囲されてしまった。また同じ頃、日向北部の国人・土持氏が突如門川領への攻撃を開始したため、伊東家は北は土持、南と北西からは島津氏の侵攻を受けることになったのである。義祐は窮する事態に人心一新を図ったものか、次男・義益の嫡男で嫡孫の義賢に家督を譲る。同年12月、野尻城主・福永祐友が、島津方である高原城主・上原尚近の説得を受け入れ、島津方に寝返ってしまった。福永氏は伊東氏とは姻戚関係にあった為、この謀反は義祐は勿論、他氏族への大きな衝撃になった。これを知った内山城主の野村刑部少輔文綱（野村松綱の子）、紙屋城主・米良主税助も島津方に寝返った為、佐土原の西の守りは完全に島津氏の手中に収められてしまったのである。さすがの義祐も事態の深刻さを受け止め、12月8日、領内諸将を動員してまず紙屋城奪回の兵を出した。ところが、途中で背後から伊東家譜代臣の謀反の動きを察知。即座に反転して佐土原に帰城した。翌12月9日、佐土原城で事態打開の評定が開かれた。南の島津方は飫肥を越え、佐土原へ攻め寄せるのは必至な状況で、籠城して島津軍を迎撃する声はなかった。同日、城を包囲されて逃亡してきた祐兵も佐土原城に帰着。もはや義祐には残された選択肢はなかった。同日正午過ぎ、義祐は日向を捨て、次男・義益正室の阿喜多の叔父・豊後国の大友宗麟を頼る決断を下したのであった。本拠である佐土原を捨て、豊後を目指す義祐一行の進路上に、新納院財部城主・落合兼朝も島津氏に迎合して挙兵した報せが入った。落合氏は伊東氏が日向に下向する以前からの重臣で譜代の筆頭格であったが、義祐の寵臣・伊東帰雲斎の専横が元で子息の落合丹後守を殺されており、それを深く恨んでいた。落合兼朝の裏切りにより、義祐は己の今までの愚行に気付き切腹しようとするが家臣らに止められる。一行は財部に入るのを諦め、西に迂回し米良山中を経て、高千穂を通って豊後に抜けるルートを通ることにした。女子供を連れての逃避行はかなり辛く苦しく、また険峻な山を猛吹雪の中 進まねばならず、当初120～150名程度だった一行は、途中崖から落ちた者や、足が動かなくなって自決したものなどが後を絶たず、また島津からの追撃や山賊にも悩まされ、豊後国に着いた時はわずか80名足らずになっていたという（豊後落ち）。その中には後に天正遣欧少年使節の一人となる伊東マンショの幼い姿もあった。豊後に到着した義祐は大友宗麟と会見し、日向攻めの助力を請うた。宗麟はその願いを受け、また自身も日向をキリスト教国にする野望を抱き、天正6年（1578年）に門川の土持氏を攻め滅ぼし、耳川以南で島津氏と激突（耳川の戦い）。しかし大友氏は島津氏に大敗を喫してしまう。大友氏の大敗は、居候同然の義祐一行への風当たりに繋がり、また宗麟の息子・義統が祐兵夫人・阿虎の方を奪おうとしているとの噂があったため、義祐は子の祐兵ら20余人を連れ（義賢は大友に残される）伊予国に渡って河野氏を頼り、河野通直の一族・大内栄運の知行地に匿われた。その後、天正10年（1582年）に義祐らは伊予から播磨国に渡る。ここで祐兵は織田信長の家臣・羽柴秀吉に仕えていた同族の伊東長実の縁を得て、その斡旋で秀吉の扶持を受けるようになった。