2005年、日本に帰国後、知人を通じて横浜ベイスターズの編成を務めていた亀井進と出会い、10月に横浜の入団テストを受けるものの不合格。しかし、山口は絶対にプロに入るべき素材だと確信していた亀井は、自身の所属と縁がないながらも東北楽天ゴールデンイーグルスや読売ジャイアンツの入団テストの受験を山口に勧め、最後に受けた巨人の入団テストで合格。同年に初めて開催された育成選手ドラフトでの指名を経て巨人に育成選手として入団した。2006年はイースタン・リーグで25試合に登板、防御率1.61の成績を残した。2006年オフにも支配下登録契約が結ばれると報道されたが、選手枠などの事情から見送られた。また、投球フォームのテコ入れを行い、投げ込みをしたら球速がアップしたという。2007年に二軍で5試合に登板し無失点と好投を続け、4月23日に支配下登録。29日に一軍初登板、1回無失点に抑えた。巨人で育成選手から支配下選手登録された選手は松本哲也に次いで2人目であり、松本はこの時点では出場していなかった為、巨人における育成枠での入団選手として初の一軍公式戦出場選手となった。5月9日の阪神タイガース戦に4番手として登板し初勝利。育成枠出身選手で初の勝利投手になった。試合後のヒーローインタビューでは、殊勲打を放った二岡智宏に「ありがとうございます」と感謝を述べた。その後も林昌範の故障で空いた左の中継ぎを一人で担うなど孤軍奮闘した。2008年は尾花高夫投手コーチから左のセットアッパーとして期待をかけられ、春季キャンプでフォーム改造に取り組む。自身初の開幕一軍入りを果たすと、シーズン序盤から先発陣が苦戦する中、越智大祐や西村健太朗とともにブルペンを支える。9月12日のヤクルト戦で巨人史上初となる全て中継ぎ登板での2桁勝利を達成。最終的に67試合に登板して11勝を挙げ、13ゲーム差を逆転してのリーグ優勝に貢献。リードを守れなかったにもかかわらず味方の逆転で勝利投手になる「勝ち星泥棒」は1回のみ。中日とのクライマックスシリーズ第3戦ではリリーフで3イニングを投げ、西武との日本シリーズでも3試合に登板し、最後までフル回転でチームを支えた。オフには育成選手枠出身選手として初の新人王を受賞した。2009年シーズン開幕前には第2回WBC日本代表に選出される。中継ぎとして4試合に登板して無失点に抑え、日本の2連覇に貢献した。シーズンでは、前年同様に中継ぎとして登板を重ね、6連投も経験。オールスターゲームでファン投票でセ・リーグ中継ぎ部門1位となり、育成枠出身選手初の球宴出場。また、7月4日の中日戦で敗戦投手となるまで前年からの14連勝および83試合連続で登板時の不敗神話を維持。球団記録を更新するチーム最多の73試合に登板し、9勝1敗4セーブ・防御率1.27・44ホールドポイントを挙げ、最優秀中継ぎ投手を獲得。オフの契約更改では、育成枠出身選手初の年俸1億円でサインした。2010年は原辰徳監督により先発投手に転向。4月3日の広島東洋カープ戦でプロ初先発を果たす。4月10日の中日ドラゴンズ戦では8回途中3失点の好投で先発としてプロ初勝利を挙げた。しかしこの試合後、抑えのマーク・クルーンの離脱にともないリリーフへ再転向。当初は負傷者が戻るまでの期間限定の予定だったが、結局シーズンを通して中継ぎで投げ続けた。オフシーズンからずっと先発として調整してきたことによる調整不足もあって、被本塁打が昨年の1から10へと激増するなど復帰当初は苦しんだが、6月以降の防御率は1点台と徐々に復調。序盤戦の不振が響き、防御率は前年から2点近く悪化したものの、最終的に前年と同じ73試合に登板し、チームのブルペンを支えた。2011年はクルーンの退団と代わって抑え候補だった新外国人ジョナサン・アルバラデホと越智の不振もあり、開幕から抑えとして起用されるものの、4月19日の阪神戦で救援に失敗し、直後の23日に左胸の張りで登録抹消される。復帰後はセットアッパーとして起用されることで安定感を取り戻した。10月22日の最終戦にも登板して4年連続の60試合以上の登板、5勝1敗2セーブ、防御率1.75、チームトップの25ホールドと好成績を収めた。2012年は久保裕也が右ひじじん帯再建手術、越智大祐が黄色じん帯骨化症で離脱する中、開幕から無失点を続け、6月3日のオリックス・バファローズ戦で1998年に佐々木主浩が記録した開幕24試合連続無失点のセ・リーグ記録に並んだ。佐々木からは祝福メッセージと共に「記録を更新して欲しい」とエールを送られていたが、6月5日の福岡ソフトバンクホークス戦で明石健志にソロ本塁打を打たれ、記録更新はならなかった。なお、この本塁打は同年における明石唯一の本塁打であり山口唯一の被本塁打である。7月5日には4連投し、村田修一が川口和久投手コーチに「休ませてください」と直訴するなど周囲を心配させるも、その後も安定した投球を続け、7月には育成枠出身選手として初の月間MVPを受賞した。8月30日の対中日戦での登板で、史上初となる5年連続60試合登板を達成した。オールスター明けに抑えのマシソンが離脱したことで西村健太朗が抑えを務め、8回・山口、9回・西村と継投で逃げ切る必勝パターンを築く。2人の平均防御率は0・99と抜群の安定感を保った。最終的にはリーグトップの72試合登板・44ホールドを記録。75回3分の1を投げて無失点試合65、1登板最多失点は1、防御率は0・84と驚異的な記録を樹立し、3年ぶりの最優秀中継ぎ投手を獲得した。北海道日本ハムファイターズとの日本シリーズでは第6戦の9回に登板、1イニングを無失点に抑え、胴上げ投手となった。『週刊ベースボール』の「2012年度ベストナイン」ではベスト中継ぎに選ばれた他、豊田泰光から「巨人の試合で山口、西村の8、9回だけは見応えがあった」「山口は影のMVP」と絶賛された。オフの契約更改では、入団時の年俸240万から100倍の2億4千万となった。また12月4日に、第3回WBC日本代表候補選手34人が発表され候補入りした。2013年2月20日に、第3回WBC日本代表メンバー28人が発表され代表入りした。この大会では、チーム最多の5試合に登板した。シーズンでは、4月20日に154ホールドを記録し、浅尾拓也を抜いて歴代単独一位となり、その際には生涯中継ぎ宣言をした。6月5日の対日本ハム戦で史上初の通算200ホールドポイント、さらに160ホールドと記録を更新した。この年は自身が持つ記録をさらに更新する6年連続60試合登板をクリアし、42ホールドポイント（4勝38ホールド）で自身3度目の最優秀中継ぎ投手のタイトルを、同僚のスコット・マシソンと分け合った。しかしその一方で、約2年ぶりとなる1試合3失点を2度記録し、敗戦数（3敗）と与四球数（17）は自己ワースト・ワーストタイであった。2014年はシーズン前の体調不良から調整が遅れ、開幕から不調が続いたが5月からは復調し、5月の成績は防御率0.00・2勝1セーブを記録｡6月6日の交流戦・西武ライオンズ戦でプロ野球史上初の偉業となる通算200ホールドを達成し､連盟表彰を受けることが決まった（山口がきっかけとなって、200ホールドにも表彰規定ができた ）。しかし、阪神とのクライマックスシリーズでは第3戦の7回に登板するもマウロ・ゴメスに勝ち越しの2点適時打を打たれそのまま敗れた。チームは翌日も敗れＣＳ敗退となった。シーズンオフの契約更改では、現状維持の3億2000万で更改し、また、3年10億越えとされる複数年契約を結んだ。2015年は接戦で打たれるなど5敗を喫したが8年連続60試合登板を成し遂げた。2016年は9年連続60試合登板を達成したが、60試合登板が始まった2008年以降では防御率4.88、シーズン6敗、19ホールドは自己ワースト。チームも2年連続で優勝を逃すなど、苦しいシーズンとなった。2017年は故障や不振もあり登録抹消が重なり18試合の登板にとどまり、連続60試合登板が途切れた。2018年は左肩の故障などもあり、育成登録だった2006年以来となる一軍登板なしに終わり、二軍でも防御率4.96と不本意な成績だった。10月5日に現役引退を表明した。会見ではやり切りったと完全燃焼の言葉やまたコーチや、かつて師事した工藤公康、先輩の阿部らに感謝の言葉を述べた。引退会見終了後には、坂本勇人、内海、長野久義ら辛苦を共にしたチームメートに加え、また既に引退表明していた杉内俊哉と村田もサプライズ登場した。10月31日に任意引退選手公示された。