ルーキーイヤーの2002年、オーバースローとサイドスローを併用する変則投法で、新人ながらシーズン31試合に登板、6勝（3敗）を挙げた。2003年は、サイドスロー固定を図ったが、逆にフォームを崩してしまいシーズン4試合の登板に終わる。しかし、ウエスタン・リーグで最多勝を獲得。2004年シーズン後半、オーバースローに固定して一軍に復帰、9月12日の対広島東洋カープ戦で初完封勝利を記録。最終的に2勝を記録した。終盤の好投が光ったことで西武ライオンズとの日本シリーズ第4戦では先発投手を任された。6回無失点に抑え、日本シリーズ初登板初先発初勝利を記録した。しかし、第7戦では先発のドミンゴ・グスマンがKOされた後、中継ぎとして2番手で3回途中から登板したが、アレックス・カブレラに5点のリードに広げられる2ラン本塁打を打たれ、1/3を投げて1失点で降板した（2ラン本塁打の内、もうひとつの失点はドミンゴが出したランナーのため、ドミンゴの失点となる）。結果的にチームは敗れ日本一を逃した。2005年は一軍と二軍を行き来。2006年、右肩の痛みから初めて一軍登板なしに終わった。同年オフ、幼馴染との結婚を発表。2007年は、山本昌の不調から先発ローテーションの一角を任されるが、援護が少なく長らく勝ち星から見放されていた。また、序盤から突然崩れることも目立ち、波に乗れなかった。8月21日の対巨人戦に登板し、またも初回からピンチを招くが、1失点で切り抜けるとその後は無得点に抑え、2年ぶりとなるシーズン初勝利を挙げた。その後は調子も安定し、稀にみる巨人及び阪神との三つ巴の優勝争いの中、9月には登板5試合で4勝1敗、防御率3.00の好成績を上げ、自身初のセ・リーグ月間MVPを受賞した。クライマックスシリーズでは第2ステージ第1戦での先発予定も右肩痛再発のため回避。北海道日本ハムファイターズとの日本シリーズでは第5戦（ナゴヤドーム）に先発登板し、8回まで1人も走者を出さない完全試合としたが、9回に降板して、抑えの岩瀬仁紀が三者凡退で抑えたことで、レギュラーシーズン中も含めてNPB史上初の継投による完全試合を達成。しかし、山井から岩瀬への継投を行った監督の落合博満の采配については、スポーツマスコミ、野球評論家などを中心に賛否両論が巻き起った（2007年日本シリーズにおける完全試合目前の継投）。 2008年、3月2日の日本ハムとのオープン戦に右足内転筋痛を訴えて出遅れ、4月9日に選手登録された。4月17日の対読売ジャイアンツ戦に先発し、7回を1失点に抑えるも敗戦投手に。しかし、2試合に登板したのみで、右ひじ痛のため出場選手登録を抹消された。その後、クライマックスシリーズで再び一軍登録されるも不甲斐ないシーズンとなってしまった。2009年、エースの川上憲伸が抜けたことにより、先発ローテの一角を担うことが期待された。しかし、開幕一軍はならなかった。4月15日に今季初の一軍昇格。4月19日の対巨人戦に登板するも2回4失点で降板した。5月8日の対巨人戦も1回3失点と振るわず、試合後二軍に降格した。その後は一軍復帰し、岩瀬仁紀の故障時に自身4年ぶりとなるセーブを記録するなど中継ぎでの登板が多くなった。オフに、ドミニカ・ウインターリーグのエストレージャス・オリエンタレスへ浅尾拓也、谷哲也、長峰昌司と共に派遣。ここでは2/3回で3失点を喫した1試合のみの登板に終わる。2010年は4月6日の対横浜ベイスターズ戦で3年ぶりの勝利投手となる。7月16日の広島戦では6年ぶりの完封を飾り、この試合以降でプロ野球新記録となる「チーム5試合連続完封」を記録することとなった。また8月18日の対巨人戦（ナゴヤドーム）で、巨人打線を8回終了時まで無安打に抑えていたが、9回の先頭打者坂本勇人に初被安打・初失点となる本塁打を打たれ、直後に岩瀬に交代した（試合は3対1で中日が勝利）。その後のヒーローインタビューでは2007年日本シリーズにおける完全試合目前の継投を受け、「やっぱり8回までしか持ちませんでした」と自虐的にコメントした。肩、ひじに疲れのたまりにくいフォームに改造し、かつての決め球である落差のあるスライダーとも決別、直球、フォークに新スライダーとカーブを組み合わせるスタイルにモデルチェンジしたことが要因とされる（週刊ベースボール中日ドラゴンズ優勝記念号より）。巨人戦に相性がよく4試合に登板し3勝0敗防御率2.73だった。2011年は吉見一起やチェンの故障によりシーズン前は開幕投手候補と言われたが、右肘の違和感で開幕一軍を逃し、その後は左足首の骨折もありシーズン終盤まで一軍に定着できなかった。8月に一軍昇格して以降は先発で3勝を挙げた。福岡ソフトバンクホークスとの日本シリーズでは第4戦では1点ビハインドの場面でリリーフ登板し、2回を無安打無四球に抑えた。両チーム3勝3敗で迎えた第7戦で先発したが、3回途中1失点で敗戦投手となっている。2012年、監督の高木守道と投手コーチの権藤博の思案もあって中継ぎから始まった。4月17日の巨人戦から4試合連続で先発（シーズン合計は5試合に先発）した他、5月8日の対広島戦ではロングリリーフも務めた。中盤からは浅尾拓也が肩痛、岩瀬が成績不振で登録を抹消されて8月2日からセットアッパーと抑えを務めた。1年で先発、中継ぎ、ロングリリーフ、抑えと1人4役をこなし、初めてシーズンを通して一軍に帯同。自己最高の56試合登板、防御率1.43、15セーブ、13ホールドを記録した。クライマックスシリーズでも浅尾、田島慎二と共にセットアッパー及び抑え投手として貢献した。前年まで中日の投手コーチだった森繁和からは「環境が変わったのが大きいのではないか」「本当に嬉しいし、誇りに思う」と賞賛された。オフの12月4日に、第3回WBC日本代表候補選手34人が発表され候補入りした。2013年は、ボールに対応できず第3回WBC最終メンバーの28人には選出されなかった。同年シーズンでは、開幕当初は中継ぎだったものの、4月19日の対DeNA戦でサヨナラ本塁打を打たれるなどあり、4月下旬には二軍降格、5月下旬に先発として一軍に復帰。6月28日、対横浜DeNAベイスターズ戦（横浜スタジアム）で、NPB史上77人目（88度目）のノーヒットノーランを達成。3奪三振、4与四球でスコアは9対0だった。試合後のインタビューで2007年の日本シリーズ最終戦の事を問われて「全く意識していなかった、あの山井とは別人ですから」と語った。しかし、この投球で流れが変わることはなく、最終的には16試合に先発したが5勝6敗で防御率は4.15と平凡な成績に終わり、契約更改でも減俸となった。2014年、8月に初めて国内FA権を取得。9月6日の対阪神戦（ナゴヤドーム）で7イニングを6安打2失点で、自身初の10勝目を挙げるなど13勝を挙げ、阪神のランディ・メッセンジャーと共に最多勝、また単独で最高勝率のタイトルを獲得した。なお、36歳で初めて10勝を記録したのはNPB史上最年長記録となった。また、規定投球回をクリアしたのもこの年が初だった。オフに国内FA権を行使せず中日に残留を決断。契約更改交渉にて、年俸は倍増の1億2000万円にあがり、合わせて36歳と高齢ながらも年俸固定制の3年契約を結んだ。2015年の開幕投手に指名され、開幕戦の3月27日の対阪神戦（京セラドーム大阪）では期待に応えて7回を投げ3安打1失点と好投したが、チームは同点に追いつかれたのちに延長サヨナラ負けを喫した。8月25日の対DeNA戦（横浜スタジアム）で中継ぎで登板し、NPB史上341人目の1000投球回数を達成した。この年は好不調の波が激しくまた好投しても勝ち星に恵まれない試合も多く先発ローテーションから外れてリリーフに回ったこともあり、規定投球回数には僅か2イニング足りなかった。成績もリーグ敗戦数2位タイの12敗を記録した。2016年も打ち込まれることが多く、先発では一度も勝てず5月18日の対阪神戦（阪神甲子園球場）での敗戦で、去年から続けて先発登板11連敗を記録してしまった。6月からはリリーフに回り、33試合で1勝8敗、防御率4.52という成績に終わった。2017年は、3年契約の最終年だがシーズン開始から二軍で調整を続ける。シーズン終盤の8月31日に初めて一軍に登録されたが、その時点での二軍成績は13試合登板、0勝5敗、防御率7.43と絶不調だった（なお、このあとも二軍での登板はなかったため、これが最終記録となる）。しかしながら同日の対DeNA戦（ナゴヤドーム）では先発で6回0/3を投げ3安打1失点と好投を見せ、802日ぶりの先発勝利をあげた。また、この試合で今永昇太からプロ初本塁打を記録し、山井本人によると中学生以来の本塁打だったという。9月12日の対ヤクルト戦（明治神宮野球場）でも先発で6回を投げ5安打1失点と好投して2勝目をあげた。この2試合の登板のみで2勝0敗・防御率1.50でシーズンを終えたが、2試合続けての好投が認められ、球団は来季も契約を結ぶ意向である。2018年は、5月22日に一軍昇格。同日の対DeNA戦に先発し、プロ野球史上9人目の40代での完封勝利を達成した。同年5月23日のプロ野球公示で出場選手登録を抹消された。