五島藩は安永元年(1772年)以降、 大村藩より約3,000名の百姓を開拓民として迎え入れた。寛政9年(1797年)、桐古里地区には大村藩外海地方黒崎より14名の潜伏キリシタンが移住している。当社はいつのころからかその子孫たちによって祀られ、現在でも例祭などの祭祀に氏子として参加する者のほとんどが、｢カクレ｣の門徒であるという。また、御神体には『バスチャン様』の御像を祀っていると伝えられる。『バスチャン様』とは16世紀から17世紀に、大村藩外海地方を中心にキリスト教を伝道した日本人伝道師であるが、実在の人物であるか定かではない。なお、この『バスチャン様』が残した数々のものの中に、｢バスチャンの日繰り｣がある。｢バスチャンの日繰り｣とは、1634年の太陰暦によるカトリックの教会暦であり、外海、五島の潜伏キリシタンはこの日繰りをもとに、｢カクレ｣の年間行事を今日まで維持している。なお、有福島に鎮座する『頭子神社』も、｢キリシタン神社｣と認められている。
創建は享保元年（1716年）11月。当郷は明治維新まで宿ノ浦郷内であり、郷民が当地の山林を伐採して生計を営んでいたので、山の神の祟りを恐れ大山祇尊を勧請し、石祠を奉祀した。明治7年（1876年）5月、無格社に列せられる。
離島が舞台になっている映画やドラマのロケ地として使われることがたびたびあり、主な作品に、映画『処刑の島』、『サイレン 〜FORBIDDEN SIREN〜』、『バトル・ロワイアル』、『トリック劇場版2』、『るにん』、『今日も嫌がらせ弁当』、CMに『ペプシコーラ』桃太郎篇、『乳酸菌ショコラ』などがある。また、島に関する書籍としては、浅沼良次『流人の島 - 八丈風土記』（1959年、日本週報社）がある。作曲家の團伊玖磨は、この島の風土を気に入り、1963年に別荘（一度倒壊して、現存するものは2度目に建てられたものである）を建設し、毎年長期間に渡り滞在していた。八丈島での出来事は連載随筆『パイプのけむり』などで記され広く知られている。没後も團の名を被せたコンサートが開かれるなど、八丈島との縁は深い。
東海汽船が貨客船さるびあ丸や橘丸を、伊豆七島海運が貨物船を定期運航している。主に島北東部の底土港へ着岸するが、時化で使用できない時は南西部の八重根港へ着岸する事もある。竹芝桟橋と小笠原諸島の父島間にテクノスーパーライナーが就航した場合におがさわら丸を竹芝 - 八丈島航路向けに転用する、という計画があった。しかし、2005年、小笠原航路へのテクノスーパーライナー導入計画そのものが、折からの燃料費高騰等を理由に暗礁に乗り上げてしまった。さらに、これを受けて東京都が代替策として小笠原での空港建設の検討を進めており、おがさわら丸の八丈島航路転用計画は実質、頓挫した状態になっている。
上代東国方言の名残を残している独自の八丈方言を使用している。八丈島の方言は流人によって伝えられたものも多くあるが、くに（内地）から来た殿上人、宇喜多秀家ら主従の影響も強く残る。その多くは公家言葉を偲ばせるが、旧所領であった岡山の方言に通ずるものも少なくない。2009年、国際連合教育科学文化機関から危機に瀕する言語と指定された。
繻子織の発祥の地は、シリアのダマスカス地方と考えられている。現在でも緞子を英訳すると「ダマスク」となる。中国では、通説では宋代には繻子組織が考案されたと考えられており、元の時代に書かれた『大元聖政国朝典章』には、江南地方で緞子が織られていたという記述がある。明の時代になると、緞子はより広く織られるようになり、技術も向上した。当時の中国の主要な輸出品の一つとなっている。日本では、当時流行していた能楽の衣装や茶道に使う古袱紗や仕覆に用いるために、南北朝時代末期から室町時代に掛けて盛んに緞子が輸入されるようになる。ただし、これらの名物裂の中には「珠光緞子」「遠州緞子」など、平織や綾織のものを緞子と呼んだ例も多く、経糸と緯糸の色が違う高級織物の総称として、当時の高級織物である「緞子」の名を使っていた可能性もある。天正年間に、堺に招聘された明の織工から技術が渡来する。当時は主に男性向けとして織られ、元禄年間になって女性の帯などにも利用されるようになる。
延元2年（1337年）、時行は後醍醐天皇方の南朝に帰参し、勅免の綸旨を得ることに成功した。足利尊氏にとって、時行の挙兵は帝の疑心を招き、新田義貞や弟・直義との関係を悪化させるなどしたが、勝長寿院で自害したと思われていた時行が実は今だ生きており、しかも後醍醐天皇に拝謁して朝敵を赦免され、南朝と結託したことは、さらに尊氏を驚かせた。時行が朝廷の許しを得るための交渉過程は詳しく判明していないが、後醍醐天皇より南朝への帰属を容認された上、父高時に対する朝敵恩赦の綸旨も受けている。時行による高時の朝敵撤回に関しては、後世に時行の子孫を自称した横井小楠から「この上ない親孝行である」と礼賛されている。時行が鎌倉に攻め入って幕府を直接滅ぼした新田義貞らが属する南朝、いわば仇敵と手を組んだ理由は、当時の趨勢が南朝に有利だったからという打算的判断によるものだといわれるが、育ての親である諏訪頼重の仇を討ちたいという強い意志が何よりの動機であったとする説もある。これに対して家永遵嗣は、元々時行は持明院統（北朝）の光厳上皇と結んで活動してきたが、中先代の乱後に上皇が足利尊氏と結んで持明院統を復活させる方針に転換し、尊氏と戦ってきた時行はこれを上皇の裏切り・切り捨てと解して、南朝と結んで尊氏と戦う道を選んだと解している。