社伝によれば、白鳳3年（675年）の夏に当地を治めていた物部韓国連久々比命という郡司が贄田（神供用の稲を穫る田）に酒造所を造り、酒解子神、大解子神、子解子神の酒造3神を祀って神酒を醸造し、これを祖神に供えて五穀豊穣を祈願したのが創祀であるとするが、この社伝は『国司文書』に依るもので信憑性に疑問があるため、不明とする外ない。また、鎮座地である法花寺の地名から奈良県の法華寺が連想され、同寺は総国分尼寺とされているので、そこから但馬国の国分尼寺や国府、郡衙との関連性を見る説もある。延喜の制で小社に列した（式内社）。なお、下述するように文安元年（1444年）に遷宮が斎行されているが、その遷宮が他所からの遷座か否かは不明。明治6年（1873年）10月に村社に列し、大正7年（1918年）6月15日に神饌幣帛料供進神社の指定を受けた。
酒美津男命（さかみずおのみこと）と酒美津女命（さかみずめのみこと）を祀る。祭神は杜氏の祖神であり、宮中造酒司に守護神として祀られていた酒美豆男神、酒美豆女神とは同神であるという。
66.7‰(1/15)という急勾配を克服するため、ラック式鉄道のうちアプト式を採用した信越線横川 - 軽井沢間（碓氷峠）に投入されたドイツ・エスリンゲン社製のAD形（3900形）に続き、その増備改良型としてイギリスのベイヤー・ピーコック社から輸入されたのが本形式である。1895年（明治28年）に2両（製造番号3652, 3653）が製造され、鉄道局ではAH形（168, 169）と命名された。イギリス人のお雇い外国人が牛耳っていた当時の官設鉄道にあって、碓氷峠のアプト式鉄道機関車をドイツ製に頼らねばならなかったことは、まさに屈辱であり、本形式の仕様書はその使用結果に基づいて作成された。よく言えば「エスリンゲン」の短所を改善したものであるが、裏を返せばドイツ製への当て付けであった。本形式の車軸配置は、先輪1軸を追加した2-6-0(1C)形で、AD形と同様に動輪用のシリンダの他にピニオン駆動用のシリンダを持つ4シリンダ式で、ピニオン駆動用シリンダを台枠内側に収めるため、台枠を車輪の外側に配する外側台枠式である。AD形で、ピニオン駆動用シリンダで蒸気を濫費して運転に難渋した経験から、ピニオン駆動用シリンダの直径を縮小し、ボイラーの容量を増加している。ピニオン軸を収める部分は主台枠の一部を挟んでおり、第1・第2動軸によって支持されている。また、使用区間には26本ものトンネルがあり、煤煙により非常な苦難を乗務員に強いたため、本形式では煙突をT字形として、前後・上方に排煙方向を任意に切り替えられるようにし、トンネル内では排煙を機関車の後方に導くように意図された。これは、フランシス・ヘンリー・トレビシックが考案したものであったが、使用成績が良くなく、後に後進運転を定位として、この特徴的なT字形煙突も撤去された。さらに、本形式では煙突直下で排気すると排煙を吸引するため、コンデンシング装置を備えて気流の調整を図った。この方式は、初期のロンドン地下鉄で採用されたものと同様の方式であったが、急勾配でパワーを必要とする本形式では、ドラフト効果が十分に得られず、ボイラーの燃焼が阻害されることがわかり、先述のT字形煙突とともに撤去された。本形式では、水と石炭の積載量が大幅に増加され、側水槽の背が高くなったうえに煙室前板まで延長され、側面からはボイラーを見ることはできない。上品さを旨とするイギリス製蒸気機関車ではあるが、さすがに使用条件の厳しさには敵わず、上品さは失せ、厳つい外観となっている。ピニオンへの動力伝達方式も変更され、AD形では2軸のピニオンへ直接ロッドで動力を伝達する方式であったが、本形式では一旦中間軸にロッドで動力を伝達し、2軸のピニオンへは歯車で動力を伝達する方式となった。これによりバンドブレーキの作用方式も変更されている。1898年（明治31年）の鉄道作業局への改組に際しては、C2形とされ、504, 505に改番された。さらに1909年（明治42年）には、私鉄の国有化を受けて発足した鉄道院の車両形式称号規程が実施され、3920形（3920, 3921）に改められた。この頃には、煤煙対策から燃料を重油に切り替えており、重油タンクが設置されていたが、他形式がボイラー上に箱形のものを取付けていたのに対し、本形式では左側の側水槽上の後部に細長いものを載せていた。これは、T字形煙突の撤去より先に重油燃料への切替え試験が実施されたためと推定されている。しかし、これをもってしても決定的な煤煙対策とはなり得ず、結局1912年（明治45年）に碓氷峠区間は電化されることとなった。本形式はその後も残ったが、1917年（大正6年）8月に廃車された。3921は、その後も解体されずに田町に放置されていたようで、1923年（大正12年）の関東大震災で被災し、破損したという記録が残っている。