中世の山城は、山上に城郭、麓に下館（居館）を築いたといわれる。山上の城は、主に戦時の防御施設であって日常生活は、麓の館で行っていたようである。山上の城には、掘立柱建築や簡易な櫓を建てただけで長期間居住するための建物は建てられていなかったらしい。戦国期には、山上の城にも恒久的な建物（中には礎石建ちの本格的なものもある）を建てて、長期の滞在ができるように備えたものも現れた。典型的な例として武田氏の要害山城や朝倉氏の一乗谷城などがある。一乗谷城は、谷間に城下町と居館としての下館を築き、有事に備えて山頂に城郭を築いていた。
小規模な城の場合は、山の頂上に簡単な建物を造り食料、武具を保管するだけで後は、自然の地形を利用して適宜、山の各所に柵、堀、土塀を設けるといった程度であったらしい。中規模の城では、峰々に本丸、二の丸といった曲輪を造り、居住用の施設も備え、長期の籠城に耐えられるようにした。大規模な城では、周辺の山々に支城を設け、山系全体を要塞としていた。地形上の問題から傾斜地には、あまり深い堀は掘れなかった。堀に落ちた攻城側の兵を守城側の兵が槍で突く攻撃が可能であるほうが、防衛上の利点が大きかったという事情もある。またこれらは、空堀であり後に見られるような水堀はなかった。さらに土を盛って城郭を広げる石垣の技術もなかったため、城は狭かった。
平城、平山城に比べて山城の規模は小さい傾向がある。しかし、そのために都市開発を免れる例も多く、月山富田城、増山城、竹田城、高取城、岡城などでは中世の広大な城域全体の遺構が保存されている。
山への築城.
日本において初めて山に軍事的防御施設が築かれるのは、弥生時代の高地性集落である。その後、飛鳥時代から奈良時代にかけて、唐や新羅の侵攻に備えて西日本各地に古代山城が築かれた。
中世には、鎌倉時代後期から南北朝時代までに後醍醐天皇の率いる反幕府勢力が幕府に抵抗するため、山への築城が始まったようである。その初例と考えられているのは、楠木正成の千早城や赤坂城（上赤坂城、下赤坂城）、または山岳寺院「金胎寺」を利用した金胎寺城である。その後、南朝もそれらに倣って各地に山城を築いた。武士が山麓の平地に居館を、背後の山に山城を築き、戦闘になると山城に立て篭もるといった様式が一般化したといわれている。