2004年7月1日に一軍初昇格。同日の阪神タイガース戦（甲子園）にリリーフとしてプロ初登板するも6失点でノックアウト。7月4日の広島東洋カープ戦では初先発し勝敗つかず。2軍では14試合に登板し、72回を投げ30自責点。 6勝4敗、防御率は3.75だった。2005年は、前半戦はほぼ二軍で過ごすが、8月10日の一軍昇格以降はチーム事情から先発として起用される。9月1日のヤクルト戦でのプロ初勝利を含め、7度の先発起用で2勝を挙げた。2006年4月1日のイースタンリーグ・インボイス戦でプロ初の完封勝利。4月29日に昇格し、シーズン終了まで一軍で先発および中継ぎとして31試合に登板（先発14試合、中継ぎ17試合）。多くの辞退者が出たため11月には日米野球に出場。また、12月末に婚姻届を提出した。2007年から背番号が30になる。中継ぎとして一軍に定着し、8月にはリーグタイ記録の月間17試合登板を達成した。シーズン後半には上原浩治、豊田清と共に勝ちパターンの継投にも組み込まれ、チーム最多の57試合に登板。ロングリリーフや緊急先発もこなし、原監督から「うちの鉄人」と賞賛された。一方、対左打者の被打率が.318、ビジターでは31試合で26失点と課題も残った。シーズン終了後のインタビューでは、先発至上主義が根強く残る巨人には珍しくクローザー願望を語り、「上原さんのように歓声のなか登板したい、ファンに信頼される投手になりたい」と告白した。2008年は、シーズン前に上原と自主トレを行い、シュートを教える代わりにフォークを教わる。自身初の開幕一軍入りを果たし、5月25日には中継ぎのみの登板でハーラートップタイとなる6勝を挙げ、5月終了時までに両リーグトップの29試合に登板した。しかし、過去数年の登板過多の影響で右肩痛を発症し、交流戦終了後の6月25日に登録抹消された。後半戦をほぼリハビリに費やし、復帰した10月22日のクライマックスシリーズ第2ステージの中日ドラゴンズ戦では2試合無失点と好投。西武との日本シリーズでも中継ぎとしての役割を果たす。2回の二軍落ちに関わらず3年連続の30試合以上登板を達成し、契約更改では勤続手当として年俸増を勝ち取った。2009年は、先発転向を志願し開幕ローテーション入りを目指すが、オープン戦で打ち込まれる。中継ぎ要員として4月18日に一軍登録されるが、右ひじの違和感から5月に二軍落ち。6月に内視鏡によるクリーニング手術を受け、残りのシーズンを棒に振った。オフには小林雅英の入団にともない、背番号を35に変更。2010年は、前年同様に先発転向を志しオープン戦からアピール。開幕5戦目となる3月31日の横浜ベイスターズ戦で3シーズンぶりの先発マウンドに上がった。序盤は先発ローテーションの一角に入るが、4勝目を挙げた5月30日の西武戦を最後に白星から遠ざかる。6月6日の楽天戦で4本塁打を浴び、先発として3連敗で迎えた7月5日の広島東洋カープ戦で5回を持たずノックアウト。翌日に登録を抹消され、そのまま二軍でシーズンを終えた。2011年は、キャンプでは再度の先発ローテーション入りを目指すが、中継ぎとして自身3年ぶりの開幕一軍入り。7月からは先発ローテーションに入り、7月16日のヤクルト戦でプロ入り初の完投勝利。9月10日の広島戦で自身最多となる7勝目を挙げた。夏場に5連勝する一方で終盤に4連敗と苦しんだが、最終成績は防御率1.82で7勝5敗4ホールドと勝ち越した。契約更改の席で「初めて1年間1軍にいて、充実した1年だった」と振り返るシーズンとなった。2012年は、前年守護神だった久保裕也の故障により、開幕前に抑えを託された。4月1日のヤクルト戦で自身5年ぶりのセーブを挙げる。6月末からはスコット・マシソンがクローザーを任されたことでセットアッパーに配置転換されるが、オールスター明けにマシソンが離脱したことで再び抑えを務め、8回・山口鉄也、9回・西村と継投で逃げ切る必勝パターンを築く。2人の平均防御率は0・99と抜群の安定感を保った。優勝へのマジック1で迎えた9月21日のヤクルト戦では30セーブ目を挙げると同時に胴上げ投手となった。クライマックスシリーズでは4試合で4回3失点、日本シリーズでも2試合で1回1/3を1失点でともに1敗を喫し、日本一の際の胴上げ投手も山口に譲った。セーブ王は1セーブ差でバーネット、岩瀬仁紀に譲るも、防御率はバーネットの1・82（57試合）、岩瀬の2・29（54試合）を大きく上回る1・14（69試合）を記録。『週刊ベースボール』の「2012年度ベストナイン」ではベスト抑えに選ばれた他、豊田泰光から「巨人の試合で山口、西村の8、9回だけは見応えがあった」と絶賛された。オフの11月6日に、「侍ジャパンマッチ2012「日本代表 VS キューバ代表」」の日本代表が発表され代表入りした。契約更改では、倍増の8000万円で更改した。2013年は、守護神の地位を確立し、セーブのつく場面でマシソンや山口が用いられる場面はほぼなかった。8月14日の対DeNA戦で球団史上初の2年連続30セーブを達成した。最終的に両リーグ最多の71試合に登板し、巨人の球団新記録となる42セーブを挙げ、10年目で自己初、チームとしては2008年のマーク・クルーン以来、日本人としては1993年の石毛博史以来（この時は最優秀救援投手）の最多セーブ投手のタイトルを獲得した。日本シリーズでは第1戦でセーブをあげるが、第5戦で9回から登板し、同点に追いついた直後の延長10回に勝ち越しを許し敗戦投手になり、2年連続で日本シリーズでは結果を残せなかった。しかし、シーズンの活躍の甲斐があり1億円増の1億8000万円で契約を更改した。2014年は開幕直後こそ守護神だったが、延長戦での勝ち越し点など、救援失敗が目立ってくると守護神の座を途中でマシソンに譲り、中継ぎに回った。中継ぎに回った後は持ち直し、最終的に49試合に登板し、防御率2.98の成績を残した。阪神とのクライマックスシリーズでは第2戦から第4戦にかけて3試合に登板。第2戦と第4戦は無失点だったが、第3戦は6回の途中から登板するも、福留孝介に同点適時打を打たれてしまった。降板後の7回に勝ち越されチームは敗れた。オフの10月21日に、「日本プロ野球80周年記念試合」の阪神・巨人連合チームに選出された事が発表された。2015年、前年オフに原監督から先発転向を指示されキャンプから先発再転向の為に準備をしオープン戦でも結果を残したが、マシソンがオープン戦の内容が悪く急遽開幕はリリーフで迎えた。しかし開幕二戦目の対横浜戦、9回に筒香嘉智に本塁打を打たれその回を投げきったがこれが2015年シーズン一軍での唯一の登板となった。二軍で再度先発再転向の準備をした矢先に不運が襲う。5月1日のイースタンリーグのヤクルト戦、西浦直亨の打球が顔面に直撃し、救急車で緊急搬送された。右目瞼を10針縫った。5月30日に復帰登板を果たしたが不幸は続き、6月16日のイースタンリーグのDeNA戦、白崎浩之の打球が左足の脛に直撃し、イニング終了時に降板した。7月2日に復帰はしたものの今度は7月24日のファーム交流戦の対ソフトバンク戦の登板を最後に肘に異変が起き、ノースロー調整を続けたが回復せず8月23日球団から9月初旬に右肘の遊離軟骨除去手術を横浜市内の病院で受けることを発表。全治は二ヶ月と診断されシーズンの復帰は絶望となった。2016年、前年の手術の影響で27試合に留まり、40%減の年俸7800万円で契約更改した。2017年は9月に下半身のコンディション不良で戦線を離脱したが、中継ぎとして45試合に登板し10ホールドを挙げた。2018年は7月に二軍戦で右肩を脱臼し、リハビリに努めたものの回復が遅れ一軍登板がなく、10月3日に現役引退を発表した。2019年からは日テレジータス（CS放送）の野球解説者として活動する。