赤谷山城
ところが、東氏の勢力はしだいに衰え、支流の遠藤氏の勢力が強大になった。当時、遠藤氏は、遠藤胤縁が木越城を拠点とし、その弟の遠藤盛数は鶴尾山城を拠点としていた。
そこで、常慶は家督を娘婿の遠藤盛数に譲ることとした。しかし、常慶の子である東常堯はこれに納得しなかった。常堯は胤縁の娘を妻とし、盛数に対抗することを計画する。しかし、胤縁はこれを拒絶した。常堯は胤縁の娘を拉致しようと、木越城に乗り込むが、かえって捕らえられて侮辱を受けた。
この結果、常堯は胤縁を恨むようになった。永禄2年(1559年)8月1日、常堯は、赤谷山城を訪れた遠藤胤縁を暗殺した。
盛数は、弔い合戦を大義名分として兵を挙げ、8月14日に出陣して東殿山城を攻めた。遠藤氏は、飛騨の三木良頼の支援を受けていたともいう。
盛数方としては、粥川甚右衛門、餌取六郎右衛門、胤縁の子である遠藤胤俊、畑佐備後・鷲見氏などが参戦した。一方、常慶方には、東尚胤・東常氏父子や、周辺の諸勢力が加わった。
盛数方の軍勢は、吉田川をはさんで対岸に位置する八幡山に陣をかまえた。これに対し、常慶方は吉田川の橋を壊して防御を図ったが失敗し、赤谷山城は三方から攻められることとなった。
10日間の防戦の末、8月24日に城は炎上し、常慶は戦死した。常堯は飛騨の内ケ島氏のもとへ逃れた。こうして赤谷山城は落城し、東氏は滅亡した。城の東側の谷は、この戦いで兵が転げ落ちたことから、今でも「地獄谷」と呼ばれている。