このように船舶による関門間連絡が図られてはいたが、旅客にとってもいったん船に乗り換えなければならないことははなはだ不便に感じられており、また悪天候の際には連絡が途絶することも問題視されていた。山陽鉄道が全通する以前の1896年（明治29年）秋に、博多で第5回全国商業会議所連合会が開催された際に、博多商業会議所から関門間の海底トンネルによる鉄道連絡の提案が既になされていた。鉄道院総裁の後藤新平は、1910年（明治43年）4月に鉄道近代化を目的として業務調査会議を設置し、その一環として第4分科で海陸連絡の検討を行った。1911年（明治44年）4月には、海峡のもっとも狭くなる早鞆の瀬戸で横断する橋梁案の検討を東京帝国大学工科大学教授の広井勇に依頼し、1916年（大正5年）3月に報告書が提出された。また比較としてトンネル案の検討を京都帝国大学工科大学教授の田辺朔郎に依頼した。田辺は実地調査の末1911年（明治44年）12月28日に関門トンネル鉄道線取調書を提出し、これに基づいてさらに鉄道院技師の岡野昇が線路選定を行って諸般の調査を行い、1913年（大正2年）1月に報告を提出した。また田辺がロンドンに出張した機会に、関門海峡の地質で水底トンネルの建設が可能かの調査を国外で行うことを委託され、帰国後1915年（大正4年）5月に工事は可能であると報告した。広井が設計した橋梁はカンチレバー式のもので全長2,980フィート（約908.3メートル）、最大支間1,860フィート（約566.9メートル）、海面上の桁下高さは200フィート（約61.0メートル）で、橋の上には標準軌の鉄道複線、電車用の線路複線、さらに幅12フィート（約3.7メートル）の通路を2本設置する構造とされていた。活荷重についても、当時運行されていた機関車ではクーパーE30（軸重30,000ポンド＝約13.6トン）で充分であったのに、クーパーE60（軸重60,000ポンド＝約27.2トン）を想定しさらに3割の余裕を見込んでいた。橋への取付は、本州側では一ノ宮駅（後の新下関駅）の南700フィート（約213メートル）の地点で分岐して10パーミル勾配で全長2.5マイル（約4.0キロメートル）となり、九州側では大里駅（後の門司駅）で分岐して10パーミル勾配で全長5マイル（約8.0キロメートル）と見込んでいた。総工費は2142万6118円と見積もられた。これに対して岡野がまとめたトンネル案は、大瀬戸を通過するものであった。これは早鞆の瀬戸では水深が15尋（約27.4メートル）あるのに対して大瀬戸では8尋（約14.6メートル）であり、大瀬戸の方が水底トンネル掘削が容易であるという理由であった。路線は甲案と乙案の2案が選定され、いずれも下関駅の手前の山陽本線328マイル7チェーン（約528キロメートル）地点で分岐して彦島に渡り、彦島南端の田ノ首から南に対岸の新町に渡り、鹿児島本線の5マイル76チェーン（約9.6キロメートル）地点で合流して小倉駅に至る。甲案は乙案より水深が1尋（約1.8メートル）増加する不利があったが、九州側の線路の取付が有利であり、どちらでも大きな優劣はないとした。この他に金の弦岬から赤坂に向かう案も検討したが、水深が浅いという利点はあるもののトンネルの水底延長が長くなり、しかも九州側での線路の取付に不利であるとされた。複線トンネルにした場合、単線トンネルに比べて線路の位置がより低い場所になり、水面下より深い場所を通らなくてはならなくなり、掘削量も増大することから、単線トンネルを前提とした。総工費は田辺により、単線で約668万6000円、複線にすると約1300万円と見積もられた。この他に、到着した列車をまるごと船に積み込んで対岸に渡す渡船案を竹崎（下関駅西側）と門司駅の間、竹崎と大里駅の間、長府串崎と大久保の間の3航路で検討したが、もともと関門海峡は通航する船舶が多く、しかも潮流が激しいところを縫って頻繁にこうした船舶を往復させることは困難であるとした。また橋を架けてその下に客貨車を運搬する搬器を吊り下げて運行する運搬橋を建設する案も検討され、線路を高い位置に持って行かなくて済む利点はあるものの、両岸の山が高くなっている関門海峡では固定された橋の建設がしやすいこと、固定橋では連続的に運行できるのに対して運搬橋では断続的な運行しかできないこと、船舶の運航と支障することに変わりがないこと、そして固定橋と建設費に大差ないと見込まれたことなどから不適切であるとされた。こうして比較した結果、トンネルの方が橋梁よりも建設費が安く、その上爆撃を受けると重要な交通路が途絶するという国防上の問題点を抱えずに済むことから、国鉄ではトンネル案を採用する方針を決定した。1919年（大正8年）度から10か年継続で総額1816万円の予算を計上して第41回帝国議会での協賛を受けた。そして1919年（大正8年）6月から9月にかけて鉄道院技師の平井喜久松が連絡線路の実測調査を行い、また同年7月から10月まで、および1920年（大正9年）7月から10月までの2回に渡り関門海峡大瀬戸の海底地質調査を実施した。ところが、第一次世界大戦後の物価高騰により当初の予算ではトンネルの完成を見込めなくなり、加えて1923年（大正12年）の関東大震災に伴ってその復旧に資金を割かれることになったことから、1924年（大正13年）の第50回帝国議会において大正17年度以降に新規着手する事業は後年別途予算協賛を得る方針となり、関門トンネル予算は一旦削除されてこの時点では建設が見送られることになった。しかし、関門海峡連絡の問題は放置することができず、1925年（大正14年）には鉄道省が再び関門海峡連絡問題の検討を開始し、技師大井上前雄に命じて調査を行わせた。この際には、シールド工法だけではなく沈埋工法も検討対象とした。この結果、再びトンネル案が最良であると結論づけられ、その工法について大井上は、トンネルの強度が大きいこと、圧気中での作業の必要がないこと、より浅い場所にトンネルを通すことができて列車の昇降に伴う損失が少ないこと、建設作業が海峡を通航する船舶に対して与える支障は十分軽微であるとして、沈埋工法が適切であると主張した。これを受けて1926年（大正15年）12月17日に省議により関門トンネルへの着工が決定された。1927年（昭和2年）1月に下関市に工務局関門派出所を設置し、さらに調査を行った。この調査では、約80万円の予算を用いて地質調査、潮流調査、船舶航行状況の調査、測量、そしてトンネル工法の比較検討が行われた。しかし今度もまた、1927年（昭和2年）より発生した昭和金融恐慌の影響もあって工事に着手することができず、1930年（昭和5年）に関門派出所は廃止された。ところが1931年（昭和6年）になると一転して関門間の貨車航送は激増するようになり、そう遠くない時期に行き詰ることは明らかとなってきた。関門間の鉄道連絡船は、旅客輸送にはまだ余裕があったが貨車航送は限界に近付いており、下関駅構内が狭隘なため設備の増強余地もなかった。1929年（昭和4年）時点で設備と船舶を最大限活用した場合、1日168回の運航となり年間に片道143万トンの輸送が可能であるが、1934年（昭和9年）には限界に達するものと見積もっていた。そこで再び関門トンネル建設の声が上がり、鉄道省工務局は再度研究を開始した。1935年（昭和10年）5月27日に、当時の鉄道大臣内田信也は現地で設計を詳細に検討した後帰京し、6月7日の閣議において予算1800万円、4か年の継続工事で昭和11年度に着工するとの承認を得た。これに対して九州側の門司市は、かつて岡野がまとめた田ノ首 - 新町線では門司市を素通りすることになり門司市の繁栄に影響するとして、トンネルの経路を門司市寄りに変更するように求めて田ノ首 - 新町線案への反対運動を展開した。これを受けて鉄道省内で技術委員会を設けて新たに弟子待 - 小森江線の検討を行った。8月14日からボーリングにより弟子待 - 小森江線の地質調査を行い、9月28日に工務局長平井喜久松の現地調査を経て、11月25日に新しい案での建設は可能であると結論をくだした。いずれの経路でも一長一短があるものの、弟子待 - 小森江線は海底区間の延長が約400メートル短く、九州側に旅客駅を新設する必要がなく、また操車場への取付上も有利であるとした。こうして技術的な調査に政治的な配慮を加えて内田鉄道大臣は、弟子待 - 小森江線の採用を決定した。こうして決定された経路について、「関門連絡線新設費」の名目で1612万円の予算を計上し、第69回帝国議会において協賛を得た。翌1936年（昭和11年）7月15日に下関市に鉄道省下関改良事務所が設置され、技師の釘宮磐が所長に任じられて、いよいよ関門トンネルに着工することになった。同年9月19日、門司側の現場において鉄道省の関係者に山口県・福岡県の県知事、下関市・門司市の市長、代議士や下関要塞司令官も参列して起工式が挙行された。