古代より山岳宗教の聖地として崇められた当地は、古代の製鉄技術者集団が活躍した歴史を持ち、かつては「八頭霊（はっとうち）」と呼ばれたが、やがて八塔寺（はっとうじ）に転化し、八塔寺山（堂山、行者山とも称す）、八塔寺村となった。当山は、奈良時代、神亀5年（728年）聖武天皇の勅願により、鑑真和上（688～763年）或は道鏡法印（700～772年）によって開基された。（寺伝より）本尊として行基菩薩作の十一面観世音菩薩の霊像を祀る。平安仏教のよき理解者であった和気清麻呂公一族の庇護を受けて栄え、多くの高野聖が集り「西の高野山」と称された。また、近隣には多くの薬草が地生し、八塔寺の僧侶が作る薬草は有名であった。後年、生活に困窮した八塔寺の僧侶たちが、この薬草を売り歩いて生計を立てたこともあるという。幾多の変遷の後、元暦元年（1184年）右大将源頼朝公により、鎌倉幕府の祈祷所として塔堂・僧舎が再建され、十三重の塔や七十二の寺院が建ち並び、盛隆を極めた。南北朝時代に戦乱により本堂・伽藍等が焼失したが、江戸時代に入り、池田藩により再興された。寛政年間にまたも灰土に化したが、幸いにも本尊の十一面観世音菩薩の霊像は在し続けられた。文化13年（1816年）国司の提唱により、当山中興の祖、妙道上人により再創され、天保3年(1832年)、真言宗と天台宗は別山精舎を経営するに至り、定朝作十一面観世音菩薩の霊像を祀る　天台宗「照鏡山八塔寺」と、当山、定朝作の不動明王の霊像を祀る　真言宗「恵日山高顕寺」とに改号し、現在に至る中世には、多くの出家修行者が集り西の高野山と称された。十三重塔、三重の塔、8院、64僧房計72の院坊があったという。（明王院・宝寿院・三宝院・弘法院・常照院・寂院・徳院・善院）（浄徳房・法潤房・賢房・大善房・万代房・妙賢房・了得房・東南房など）。
JR山陽本線吉永駅から八塔寺川に添って上がると備前、播磨、美作の三ヶ国にまたがる海抜539メートルの八塔寺にある。元来は聖武天皇の御代に僧道鏡の開基と伝えられる古刹で、住時は山岳仏教の中心地として名を成した土地である。盛時には八院六四僧坊や十三重塔など仏塔が建てられたとされる聖地あったが、1517年（永世14年）に光石城主浦上掃部介宗の兵火にかかり堂塔伽藍はほどんど焼失。さらに天正19年1591年には寺領が召し上げられるなど、寺は荒廃することになった。1663年（寛文3年）池田綱政が、本堂・三重塔・鐘樓・山王社・本社拝殿等が整えられる。1974年には県下で初めて、山上全体が、八塔寺ふるさと村 (岡山県)として登録され、保存・整備が行なわれている。
開業時は軌間762mmであったが、国鉄との輸送に支障を生じるため1067mmへの改軌が大正末期から課題となっていたものの、不況期であり延期されていた。しかし、1927年（昭和2年）6月に専務から社長に就任した小疇寿が軌間拡幅工事に着手することを決定。資金は日本興業銀行から90万円を借り入れることになった。工事は1928年（昭和3年）5月に着工し、1929年（昭和4年）8月に完成した。車両は鉄道省からの払下げをうけることになり、8月24日から運行を開始した。ところが昭和金融恐慌のさなか、収入は予想に反して伸び悩み、利子は年に6万3千円にものぼって、耶馬渓鉄道は経営危機に陥ってしまう。小疇社長は社長以下俸給一割減と人員削減を打ち出したが、従業員から反発をまねくことになり現場は混乱し、地元紙は連日この騒動を報道した。大株主であった中津町の町長らが調停に乗り出し、小疇は社長から専務に降格することとなった。その後も経営不振が続き、1931年（昭和6年）に減資。1935年（昭和10年）に日本興業銀行より半田貢が送り込まれ社長に就任し、銀行管理下におかれた。同年ガソリンカーを導入し燃料費削減をするなど強力に合理化を推進し、経費を削減していった。一方、観光開発にも力を入れ、耶馬渓町鴫良の温泉掘鑿、深耶馬山彦旅館の買収、鴫良梅林の造成などを手掛け、ガソリンカーに女性ガイドを乗車させて沿線の観光案内を行った。社員は北九州の会社、工場、役所をまわり耶馬渓を宣伝した。こうした結果、1938年（昭和13年）上期には4年ぶりの復配となった。さらに、その後の戦時景気による輸送量の増加とガソリン規制による乗合自動車の衰退により業績は向上していった。1942年（昭和17年）からは軍需工場神戸製鋼中津工場の工事が本格し、工場への引込線も建設された。周辺には住宅や寮が建設され、1944年（昭和19年）の乗客数は300万人に上った。1938年（昭和13年）8月に半田が社長を辞任すると、10月に社長に就任したのは九州電気軌道社長の村上巧児であった。交通事業調整委員会から私鉄統合の要請を受け、地元大分の耶馬渓鉄道と交渉した結果からであった。その後、1941年（昭和16年）8月には、門司鉄道局で九州電気軌道に対し小倉電気軌道を統合するよう慫慂した席上、福博電車、博多湾鉄道汽船、筑前参宮鉄道、耶馬渓鉄道、別府大分電鉄の五社併合を至急実施するよう言い渡された。つまり、当初の構想は、後に西日本鉄道（西鉄）となる福岡県の鉄道だけでなく、大分県の鉄道も併せて統合しようとするものであった。しかし、結果的には県別に統合されることになり、大分県では1945年（昭和20年）4月に大分交通が発足した。西鉄は全株式の21.4%を保有し、村上は会長に就任した。