赤谷山城
長良川鉄道郡上八幡駅→愛宕公園→五人塚→主郭
赤谷山城攻撃の際に、遠藤氏は八幡山に陣を築いた。これが後の八幡城となる。郡上郡支配の拠点は、赤谷山城から八幡城へと移ることとなった。常堯は内ヶ島氏の勢力を頼みとして復帰を図ったものの果たせず、赤谷山城は廃城となった。
後に、遠藤氏は郡上郡を逐われた。慶長5年(1600年)、遠藤慶隆は、関ヶ原合戦の際に八幡城奪回を企てた。慶隆は、赤谷山北麓の愛宕神社付近に布陣したが、敵方の稲葉貞通に責められて敗走した。この際の戦死者を弔う「五人塚」が愛宕公園内にある。なお、この慶隆の陣所は赤谷山城の範囲と被っている可能性がある。