モーデン駅は1926年9月13日に、現在のノーザン線モーデン支線のクラパム・コモン駅以南が、当時のシティ・アンド・サウス・ロンドン鉄道（英語：City and South London Railway、C&SLR）の新たな延伸線として開業した際に開設された。当時のモーデンは、まだ農村的性格の地域であり、駅は何もない農地だった敷地に設けられたため、設計者チャールズ・ホールデンは、この延伸によって新設されたほとんどの駅よりも広い空間を使うことができた。imposing な駅出入り口の両側には、それぞれ数軒の店舗が付設され、下部構造も当初から将来の新たな建物を上方に設けられるように設計されたが、実際に事務棟が駅舎上部に建設されたのは1960年代になってからであった。地下鉄網の最南端の駅として、モーデン駅は開業当初から多数のバスが発着していた。バス路線の行き先は、ロンドン南部のさらに郊外の地域やサリー州北部へと広がっている。初期には、ダービーステークスの日にエプソムへ向かうバスの主要な出発点であった。現在も多くのバス路線が駅前のバス停留所から発着している。モーデン駅への延伸線の建設以前、当時のロンドン電気鉄道(London Electric Railway Company、LER)は、1910年にウィンブルドン・アンド・サットン鉄道(英語：Wimbledon and Sutton Railway、W&SR)が計画したウィンブルドン-サットン間の区間を一部利用して、サットン方面への延伸を実現したいと望んでいた。この計画を支持していた、当時のメトロポリタン・ディストリクト鉄道(Metropolitan District Railway, MDR)（現在のディストリクト線の前身）は、W&SRの株式の一部を保有しており、新たに建設される路線を経由して列車を運行する権利を確保していた。ノース・チーム(North Cheam)には駅用地も既に購入されていたが、結局のところ駅は建設されず、用地は従業員のスポーツ施設に転用された。その後、この用地は売却され、現在はセインズベリー(Sainsbury's)のスーパーマーケットになっている。第一次世界大戦の勃発によって鉄道建設工事はできなくなったが、MDRはW&SRへの支援を続け、1920年代はじめにはMDRがW&SRの経営権を確保するに至っていた。MDRを所有していた、当時のロンドン電気鉄道(LER)（現在のロンドン地下鉄の前身）は、シティ・アンド・ロンドン鉄道(C&SLR)の路線の一部について利用許諾を得ることも可能であった。この路線は、モーデン駅から先へ地上に出て地下鉄の車両基地の近くを通り、モーデン・サウス駅付近で現在のネットワーク・レールの直線区間に接続させる、という構想であった。この構想では、現在のモーデン駅は「ノース・モーデン」、現在のモーデン・サウス駅が「サウス・モーデン」という名称になっていた。当時のサザン鉄道(SR)は、この路線が自社の営業地域を蚕食し、中心部へより直結したルートへ乗客が流れてしまうとして、この計画に反対した。LERとSRは、C&SLRをモーデンまで延伸させる代わりに、LERがW&SRの路線に関する権利を放棄する、という内容で合意に達した。こうして、当初W&SRが計画した路線は、ロンドン周辺では最後の鉄道幹線建設のひとつとしてSRによって建設され、1930年1月5日に開業した。一説によると、当初モーデン駅には、イースト・フィンチリー駅にあるエリック・オーモニア(Eric Aumonier)作の射手の像の彫刻と対になる矢があったが、駅の開業直後に盗まれたのだという。しかし、イースト・フィンチリー駅に地下鉄が開通したのは1939年であり、射手の像が建立されたのは1940年のことであった。
広島市立中野東小学校2年生からソフトボールを始める。広島市立瀬野川中学校時代は軟式野球部に所属。エースとして広島県大会にも出場した。広島県瀬戸内高等学校への進学後に硬式野球部へ入ると、1年夏のベンチ登録を経て、1年秋からエースとして活躍した。2013年、広島新庄高校と対戦した3年夏の全国高等学校野球選手権大会広島県大会決勝（2013年7月28日）では、田口麗斗との間で投手戦を展開しながら延長15回を完投。1安打15奪三振無失点という内容で好投したが、規定による引き分けで再試合を余儀なくされた。しかし、2日後の再試合（2013年7月30日）で9回完封勝利を収めたことから、第95回全国高等学校野球選手権大会に広島県代表として出場した。本大会では、当時2年生の岸潤一郎を擁する明徳義塾高校との2回戦で8回9奪三振2失点と好投しながら初戦で敗退。“甲子園の土”は持って帰らなかった。大会後の第26回AAA世界野球選手権大会（2013年8月30日～9月8日）に日本代表として出場すると、救援投手としてチームの準優勝に貢献した。また、大会通算7回2/3を投げて14奪三振無失点という好成績を残したことから、大会のオールスターチームに選ばれた。上記の実績からNPBの複数球団がプロ野球ドラフト会議で山岡を指名する動きを見せたが、山岡自身は日本学生野球協会へプロ志望届を提出せず、東京ガスへ入社した。山岡は後に、U-18ワールドカップ日本代表でのチームメイトだった左腕投手・松井裕樹との実力差を感じたことを、東京ガス入社の理由に挙げている。東京ガスでは入社1年目から、救援投手として対外試合で活躍。第85回都市対抗野球大会では、バイタルネットとの2回戦に先発すると、4回を投げて6奪三振無失点という内容でチームを勝利に導いた。続く新日鐵住金かずさマジック戦では150km/hを出し、4回1失点の好投、打線は加藤貴之から8回に遠藤一星のタイムリーなどで追いつき、9回にサヨナラ勝ちを収め、勝利に貢献した。10月にはプロアマ混同の第1回21U野球ワールドカップの日本代表に選ばれた。2年目からはエースとして活躍。第86回都市対抗野球大会では大阪ガスの酒居知史と投げ合い、7回2/3を7奪三振2失点の好投も打線が酒居、近藤大亮に抑えられ敗戦した。9月には第27回アジア野球選手権大会の日本代表に選ばれた。3年目の第87回都市対抗野球大会では初戦のNTT西日本戦は9回3安打無四球完封。続く三菱重工名古屋戦は9回12奪三振3失点の粘投で勝利に貢献した。準決勝まで進み、日立製作所戦はリリーフで3回を無失点に抑えるも、チームは敗れた。大会を通じて22回23奪三振、僅かに失点3の活躍を見せ、優秀選手に選ばれた。社会人3年目の2016年からNPBドラフト会議の指名対象に再び入ったことや、東京ガス時代の活躍で「社会人ナンバーワン投手」と称されるほど高い評価を受けたことを背景に、2016年のドラフト会議でオリックス・バファローズから1巡目で単独指名。年俸1,500万円、契約金1億円に出来高分5,000万円を加えた最高の条件で入団した。背番号は13 。仮契約を結んだ直後の記者会見では、「（NPBの)『13と言えば山岡』と呼ばれるほど活躍したい」との抱負を述べた。指名後には東京ガスの投手として、オリックスの本拠地・京セラドーム大阪での第42回社会人野球日本選手権大会に出場。ヤマハとの1回戦に先発したが、2回途中6失点という内容で降板した末に、チームも初戦敗退を喫した。