だいたいはひとつのやぐらを中心にした3～6窟の小やぐら群であり、場所によってはその小やぐら群が集まった大やぐら群を構成する。一般的形態は矩形平面をもつ平天井のもので、玄室前面に出入口としての短い羨道をもつ（画像6）。羨道とは云うが、やぐらでは羨門ぐらいの短いもので、道というより奥行数十cmから1mぐらいの入口の壁のようなものが多い。中には前室をもつものもある。広いものでは8m平方のものもあるが通常は2m平方かそれより若干大きいぐらいのものが多い。羨道がついている鎌倉時代のものには玄室の入口脇天井に横木のほぞ穴（画像8）や縦柱の穴があり、入口を扉で塞いでいたと思われる。室町時代になると羨道がなくなり、玄室がそのまま前方の開けた形に、つまり四角い横穴となる。明月院のように崖崩れで発見される場合や、土木工事で発見される場合もあるが、そのようなときには入口に石を積んで覆っていた痕跡が見つかることがあり、通常は開口せずに閉じていたとも思われている。現在はただの岩穴にしか見えないものがほとんどだが、内部は削りっぱなしではなく、今も白い漆喰が残るものが多数あり（画像7）、平らに白塗りされている。さらにその上に漆で唐草などの絵が描かれているものもある。実朝の墓との伝承のある寿福寺の唐草やぐらはその漆の部分だけが風化せずに浮彫のようになって残っている。西御門谷奥の「朱垂木やぐら」には、羨道部分の天井に漆喰の上にベンガラを用いた朱色で50本の屋根の垂木を模したものが描かれており、かつそれは庇のように傾斜している（画像8）。
文献上「やぐら」という語が出てくるのは『新編鎌倉志』の十二所ごぼう谷の項に「寺の南西に山あり、切り抜きの洞二十余りありて・・・俗にくらがりやぐらと云ふ。総じて鎌倉の俚語（俗語、方言）に巌窟をやぐらというなり」とあるのが最も古い。『鎌倉攬勝考』はわめき十王窟、梵字窟、五輪窟（画像10）、団子窟（画像11）、法王窟（画像27）などの名をあげて「山上、または山腹等にあり。思うに皆古の塋域にして、鶴が岡大別当等の墳なるべし」と記し、墳墓とみなしている。『吾妻鏡』にはやぐらという字句はなく、当時は岩穴を「巌（いわや）」と呼んだことが出てくる。これは現在も残る巌堂であり、逗子の岩殿寺と同様の宗教施設、岩窟の仏殿、観音堂である。室町時代の古文書には「石蔵」とか、「岩蔵」という言葉もでてくるが、墳墓としての岩窟の当時の呼び名は不明である。漢字で「矢倉」と表記されることもあるが音からの当て字であり、ひらがなで「やぐら」と表記するのが通例である。作られる場所は『鎌倉攬勝考』にあるように山上または山腹、寺院の奥、最上流の武家屋敷の奥などにある。
「やぐら」とは山に囲まれ、横穴を掘りやすい鎌倉石という砂岩の自然条件の中で、鎌倉時代の中期頃から室町時代の中頃にかけて、巌堂、岩殿寺のような岩窟寺院をヒントに作られた中世の横穴式墳墓である。平地の少ない鎌倉が人口数万から十万人とも推定されるほどに都市が膨れあがったことや、墓所への思い入れの変化、奈良・京都の石工を含む職能集団の進出を背景に山頂や斜面に作られた納骨を兼ねた供養堂である。洞窟などの横穴を墓とした例は他にもあるが、やぐらと呼ばれるのは鎌倉とその周辺のみで、また鎌倉周辺であっても人口が密集した鎌倉の外にでると急激にその数を減らす。鎌倉公方の衰退により多くの武士が領地へ移り、鎌倉の都市としての役割が縮小すると作られなくなり、その役割は人の記憶から消えていった。
旧邸宅は1927年(昭和2年)に伊東忠太の設計により大正天皇の侍医頭入沢達吉の邸宅「楓荻凹處(ふうてきおつしょ)」として創建された。近衛は、南に斜面をもった高台に立地し、近くは善福寺川から遠くは富士山までの景勝を一望のもとに見渡せるこの別荘に惚れ込み、入沢を口説き落として1937年(昭和12年)、これを購入した。1938年には邸宅の北側に蔵と別棟が増築され、住まいの「書斎」と「寝室」は同年から1944年頃に改修を受けている。近衛家には目白（現在の新宿区下落合）に本邸があり、荻外荘は別邸なのだが、近衛はこの荻外荘が殊の外気に入って、文化サロンとしても利用し、一度ここに住み始めると本邸の方へは二度と戻らなかった。郊外にあるものの、青梅街道に程近い上に国鉄中央本線の駅にも近いという便利な立地にある上、官邸の喧噪とはうってかわって静寂な荻外荘のたたずまいを、近衛は政治の場としても活用した。同1937年7月第一次近衛内閣が発足されると重要な話し合いや会議が開かれ、有名になった。1940年には『政界往来』に「荻外莊清談」を連載している。「東亜新秩序」の建設を確認した1940年（昭和15年）7月19日の「荻窪会談」や、対米戦争の是非とその対応についてを協議した1941年（昭和16年）10月15日の「荻外荘会談」など、時には定例会合の五相会議までをも荻外荘で開いており、大戦前夜の重要な国策の多くがここで決定された。1941年（昭和16年）9月末に近衛から対米戦に対する海軍の見通しを訊かれた連合艦隊司令長官の山本五十六が、「それは是非やれと言われれば初め半年や1年は随分暴れてご覧に入れる。然しながら、2年3年となれば、全く確信は持てぬ」という有名な回答で近衛を悩ませたのも、この荻外荘においてであった。こうした変則的な政治手法から「荻外荘」の三文字が新聞の紙面に踊る日は多く、この私邸の名称は日本の隅々にまで知れ渡るようになった。後には吉田茂の「目黒の外務大臣公邸」、鳩山一郎の「音羽御殿」、田中角榮の「目白御殿」などがやはり同じように第二の官邸のような機能を持ったが、その先例はこの荻外荘に求めることができる。1945年12月16日に近衛が自決したのもここ荻外荘である。荻外荘には近衛以外にも意外な住人がいたことが知られている。1940年（昭和15年）から近衛は自らのブレーンとして重用しはじめた井上日召を同居人としてここに引っ越させている。井上は右翼団体・血盟団の創設者で、血盟団事件の首謀者として無期懲役判決を受けたが、この年の紀元二千六百年奉祝の特赦により服役8年で出獄したばかりだった。