延暦21年（802年）1月9日に胆沢城を築くため造陸奥国胆沢城使として田村麻呂が陸奥国に派遣された。『日本紀略』には、同年の4月15日の報告として、大墓公阿弖利爲（アテルイ）と盤具公母礼（モレ）が500余人を率いて降伏したと記されている。2人は田村麻呂に付き添われて7月10日に平安京へと上京、田村麻呂は「この度は願いに任せて返入せしめ、其の賊類を招かん」と2人の命を救うよう助命嘆願をしたものの、平安京の公卿は執論して「野生獣心にして、反復定まりなし。たまたま朝威に縁りてこの梟帥を獲たり。もし申請に依り、奥地に放還すれば、いわゆる虎を養いて患いを残すなり」と反対して、8月13日に河内国にてアテルイとモレは処刑された。処刑された地は、この記述のある日本紀略の写本によって「植山」「椙山」「杜山」の3通りの記述があるが、どの地名も旧河内国内には存在しない。「植山」について、枚方市宇山が江戸時代初期に「上山」から改称したため、比定地とみなす説があったが、発掘調査の結果、宇山の丘は古墳だったことが判明し、枚方市宇山を植山とする説は消えた。
その後に編成された大伴弟麻呂と坂上田村麻呂の遠征軍との交戦については詳細が伝わらないが、結果として蝦夷勢力は敗れ、胆沢と志波（後の胆沢郡、紫波郡の周辺）の地から一掃されたとされる。
この頃、朝廷軍は幾度も蝦夷と交戦し、侵攻を試みては撃退されていた。アテルイについては、789年（延暦8年）、征東大将軍紀古佐美遠征の際に初めて言及される。この時、胆沢に進軍した朝廷軍が通過した地が「賊帥夷、阿弖流爲居」であった。紀古佐美はこの進軍まで、胆沢の入り口にあたる衣川に軍を駐屯させて日を重ねていたが、5月末に桓武天皇の叱責を受けて行動を起こした。北上川の西に3箇所に分かれて駐屯していた朝廷軍のうち、中軍と後軍の4000が川を渡って東岸を進んだ。この主力軍は、アテルイの居のあたりで前方に蝦夷軍約300を見て交戦した。初めは朝廷軍が優勢で、蝦夷軍を追って巣伏村（現在の岩手県奥州市水沢）に至った。そこで前軍と合流しようと考えたが、前軍は蝦夷軍に阻まれて渡河できなかった。その時、蝦夷側に約800が加わって反撃に転じ、更に東山から蝦夷軍約400が現れて後方を塞いだ。朝廷軍は壊走し、別将の丈部善理ら戦死者25人、矢にあたる者245人、川で溺死する者1036人、裸身で泳ぎ来る者1257人の損害を出した。この敗戦で、紀古佐美の遠征は失敗に終わった。
在来線が橋上駅、新幹線が高架駅となっている。在来線改札は駅の南北をつなぐ自由通路の横にあり、新幹線改札は南口（新幹線口）にある。2015年10月2日以前は北口（在来線口）にも駅舎があり在来線改札が南北の駅舎に設けられていたが、同年10月3日をもって南北自由通路が開通し、南北の在来線改札口が閉鎖された上で一本化された。また、橋上駅舎上の改札にはみどりの窓口はない。在来線改札口にICカード簡易読取機が設置されているが、これはEX-IC利用客用であり、ICOCAそのものはサービスエリア外であるため使用できない（駅構内のキヨスク新山口3号とデイリーイン、在来線改札横のセブン-イレブンハートインではICOCA電子マネーを含めた交通系電子マネーでの支払いが可能）。南口には山陽新幹線用の自動改札機とSMART ICOCA専用クイックチャージ機が設置されている。新幹線口1階（改札外）には土産物や飲食店を備えた「アイスタ新山口」（旧称：新山口駅名店街）が立地する。在来線は5面8線の地平ホームをもつ。1番のりばと8番のりばが単式で、2・3番のりば、4・5番のりば、6・7番のりばがそれぞれ島式である。かつては1番のりばの東側の切り欠き部に0番のりば（山口線専用のため、架線は張っていない）があったが、2010年（平成22年）3月13日のダイヤ改正をもって使用が停止され、その後かさ上げされてSL広場となった。また、以前から営業列車の停車しない3番のりばも、駅改修工事時にフェンスが設置された。山陽本線は4番のりばが上り本線、6番のりばが下り本線であり、当駅を跨ぐ列車は基本的にこれらのホームを使用する。5番のりばは中線、7番のりばは下り副本線にあたる。5番のりばより宇部・下関方面、6番のりばより防府・徳山方面への折り返しが可能で当駅到着後、回送せず折り返す列車はこれらのホームを使用する。6番のりばが既に他の列車で塞がっている場合、下り列車は7番のりばを使用する。また、宇部線の構内配線は他の2路線と完全に分離されており、構内にある下関総合車両所新山口支所に入線することもできないため、8番のりばの南に宇部線の電車が待機するための電留線が設けられている。2番のりばにはかつて山口線と山陽本線を直通していた急行列車である「あきよし」「さんべ」の号車案内が残る。新幹線は、16両編成対応（ホーム長410m）の相対式ホーム2面2線（内側に上下通過線2線を挟む）を有する高架ホームである。構内は博多方向に向かって左方向に半径4,000mの曲線を描いている。12番のりばの南側（外側）に保守用車両の出入りする側線が設けられているが、本線のホームとは高低差があり壁で遮られている（新幹線口の写真参照）。