犬啼山城は、標高578メートルのいわゆる「東殿山」の山頂から安久田寄りにあるとされる。紛らわしいが、赤谷山城（東殿山城）とは別の城郭である。この城跡については平坦地が存在するものの、自然地形との区別がつかず、城郭遺構であるかどうかは、はっきりとしない。平坦地に「御馬屋」、付近の池に「井戸」などの名称が残るなど、城郭との関連をうかがわせている。
応永16年（1409年）9月、土岐頼益が東氏6代当主の東師氏が病臥中と聞き、これを好機とみなして郡上へ二方面より攻めた。しかし、東氏の守りは固く撤退した。師氏の子東益之は郡上東部気良庄の土岐氏を追放し、北部長滝領（現・郡上市白鳥町二日町）に二日町城を築いて、自分の子である安東氏世を入れて北方の備えとした。次いで、気良・和良・下川筋を監視できるように気良庄内にある犬啼山系赤谷山に城を築いた。
主郭の斜面の一部に石垣が残存する。石材は付近のチャート石である。サイズ50センチメートルほどの石垣が積まれ、高さは1.5メートル、横幅は8メートルほどとなっている。この石垣は防御目的のものではないことが特徴である。石垣は主郭の平坦面が崩れないようにする土留めとして用いられていた。築城当時は、主郭周辺を石垣が取り巻いてたと考えられる。また、主郭から西方に離れた場所に「水呑場」と称される石垣も存在する。これはもともと約30メートルほどの長さがあり、岩間から水が流れていたが、1989年の大雨で崩壊してしまった。
海抜520メートル（比高約280メートル）に位置する。東氏が従来使用していた篠脇城の比高が約180メートルであるから、比較するとかなりの高所である。また、狭い尾根上に選地しているため、遮断性が高く、防御性に優れている。
赤谷山城攻撃の際に、遠藤氏は八幡山に陣を築いた。これが後の八幡城となる。郡上郡支配の拠点は、赤谷山城から八幡城へと移ることとなった。常堯は内ヶ島氏の勢力を頼みとして復帰を図ったものの果たせず、赤谷山城は廃城となった。後に、遠藤氏は郡上郡を逐われた。慶長5年(1600年)、遠藤慶隆は、関ヶ原合戦の際に八幡城奪回を企てた。慶隆は、赤谷山北麓の愛宕神社付近に布陣したが、敵方の稲葉貞通に責められて敗走した。この際の戦死者を弔う「五人塚」が愛宕公園内にある。なお、この慶隆の陣所は赤谷山城の範囲と被っている可能性がある。
天文10年（1541年）になると、東氏の13代目にあたる東常慶が、篠脇城から赤谷山城へと居城を移した。その理由は、篠脇城が郡上防衛に不十分だったことである。常慶は、天文9年（1540年）、同10年（1541年）と二度にわたり越前朝倉氏の侵攻を受けていた。『遠藤家先祖覚書』では「同年篠脇之城、朝倉勢攻来候事、寄手近く城地不宜様ニ被思召、八幡赤谷山之城」とあり、篠脇城よりも防衛にふさわしい地として赤谷山が選ばれたとされる。
応永16年（1409年）に、東氏の6代目、東益之によって犬啼山系赤谷山に城郭が築かれた。益之は篠脇城を居城として、美濃国郡上郡の支配をしていた人物である。この城郭は、気良・和良・下川等の要地を押さえる支城だったと見られる（詳細は#犬啼山城を参照）。
シャノン子爵夫人エリザベス・キリグリュー（Elizabeth Killigrew, Viscountess Shannon、1622年5月16日 - 1680年）は、イングランドの廷臣（Courtier） (英語版) 。イングランド庶民院議員であったロバート・キリグリュー（Robert Killigrew、1580年 - 1633年）とメアリー・ウッドハウス（Mary Woodhouse、1584年 - 1656年）の第8子として、イギリス、ロンドンのセント・マーガレット・ロスバリー（St Margaret Lothbury） (英語版) で生まれた。イギリスの劇作家トーマス・キリグリュー（Thomas Killigrew、1612年 - 1683年） (英語版) は兄である。1639年、エリザベスはアイルランドの大地主、初代コーク伯爵リチャード・ボイル（彼自身エリザベスの継父の友人だった）の息子フランシス・ボイルと結婚した。その後イングランド王チャールズ1世の王妃ヘンリエッタ・マリアに女官（maid of honour）として仕え、そこで王妃の息子チャールズ皇太子（後のチャールズ2世）の数多くいたミストレス（妾）の一人となった。エリザベスは、チャールズ皇太子との間の娘シャーロット（Charlotte FitzRoy, Countess of Yarmouth、1650年 - 1684年）(英語版) を産んだ。1660年、イングランド王政復古によりチャールズ2世が即位すると、エリザベスの夫フランシス・ボイルは叙爵されシャノン子爵としてアイルランド貴族となった。シャーロットは劇作家のジェームズ・ハワード（James Howard、1640年 - 1669年） (英語版) と結婚し、ジェームズの死後1672年にウィリアム・パストン（William Paston, 2nd Earl of Yarmouth、1654年 - 1732年） (英語版) と再婚した。エリザベスはまたフランシスとの間にも、リチャード、チャールズ、エリザベスの3人の子供をもうけた。長男リチャードの長男リチャード・ボイル（Richard Boyle、1675年 - 1740年）(英語版) は1699年のフランシスの死後、シャノン子爵位を承継し第2代子爵となった。イングランドの詩人アン・キリグリュー（Anne Killigrew、1660年 - 1685年）(英語版) はエリザベスの姪である。