1982年度ドラフト会議にて読売ジャイアンツから1位指名を受け、契約金4000万円、年俸260万円（金額は推定）で合意して入団。担当スカウトは伊藤菊雄。打撃、守備センスの良さから、野手転向を勧める声もあったが、当時監督の藤田元司のアドバイス（投球時の腰回転がサイドスロー向きだったという）もあり、サイドスローへ転向。1985年にはローテーションに定着して、リーグ最多の4完封、チーム最多の12勝を挙げ、最終戦まで最優秀防御率のタイトルを争う活躍を見せる（最終戦で8回1/3を自責点0に抑えれば1位に躍り出る状況だったが、シーズン本塁打日本記録のかかっていたランディ・バースに全打席出塁を許すなど5回1/3を4自責点に終わった）も、それ以降は不遇な時期もあった。王貞治監督時代は一軍と二軍を往復し、敗戦処理が役割だった時期もある。その間、1984年8月28日の横浜大洋ホエールズ戦で救援登板し、遠藤一彦から自らサヨナラ適時打を打った。1989年、巨人の監督に復帰した藤田から再び指導を受ける。ノミの心臓で気が弱いという評価などから、王は「斎藤は先発には向かない」などとしていたが、藤田は斎藤に対し「お前は気が弱いんじゃない、気が優しいんだ」「（斎藤が「マウンドに上がるのが怖い」と言った際）投手というのは臆病でないといけないんだ。色々考えたら臆病になる。怖いというのは、お前が色々考えている証拠だ」などと諭し先発で起用し続けた事などで才能が開花。サイドスローからの140km/h超の威力あるストレート、鋭いカーブ（スライダーという評論家もいるが本人はカーブと言っている）とシンカーを武器に、3試合連続完封勝利を含む11試合連続完投勝利の日本記録を達成（#11試合連続完投勝利参照）。8月12日の対中日ドラゴンズ戦（ナゴヤ球場）では9回1死まで被安打0の快投。あと2人でノーヒットノーラン達成という状況にまで迫ったが、音重鎮にチーム初安打を許したのを機に崩れ、最後は落合博満に逆転サヨナラ3点本塁打を許した。だが、それでも最終的にはシーズン20勝をマークし、西本聖（中日）と最多勝のタイトルを分け合った。さらに、最優秀防御率とベストナインも獲得し、平成初の沢村賞を受賞した。1990年も8試合連続完投勝利を挙げるなど、20勝を挙げ、最多勝、最優秀防御率、最高勝率（当時表彰無し）、最優秀選手、ベストナイン、ゴールデングラブで、巨人だけでなく「平成の大エース」「球界のエース」「ミスター完投」と呼ばれるまでに成長した。2017年シーズン終了まで、この年の斎藤を最後に2年連続20勝投手は現れていない。もっとも、シーズン最後の3試合は2勝1敗で2年連続20勝を果たすも、19イニングで自責点16と打ち込まれ、2年連続防御率1点台は逃す。その不調は日本シリーズでも露呈し、チームのシリーズ敗退の一因となった。翌1991年は前年終盤からの不調が続き、勝ち星が半減し、勝率も5割に落とした。1992年は一転して好調をキープし、3度目の最多勝のタイトルを獲得。さらに最高勝率で、ベストナインとゴールデングラブにも選ばれた。1993年から1997年まで5年連続で開幕投手を務めた。1993年は故障がちで成績を落とし、隔年投手というイメージが付いてしまったが、1994年から1996年は3年続けて開幕戦完封勝利を収める偉業を達成した。
1951年（昭和26年）、宮城県牡鹿郡女川町出身。母親は漁師町で酒場を経営。二人の姉がおり、ホステスが住み込みで働いていたことから、幼い頃から女性に囲まれた生活をしていたという。「母親が忙しかったから、毎日テーブルに食事代として200円が置かれていたんです。食事代を100円に抑えて、残りの100円を貯金してクリフ・リチャードといった洋楽やザ・スパイダース、ザ・タイガースなど当時、流行していたGS（グループサウンズ）のレコードを買っていましたね」と当時を振り返っている。。女川第一中学校卒業後、宮城県石巻高校に進学。高校はバスケットボール部に所属した。外交官を夢見て東京外国語大学への進学を希望するも、東北大学を希望する母と対立。結局、東京外国語大学を受験し不合格となり、一浪して慶應義塾大学に進学。地方紙に載ったことで母に受け入れられたと話している。大学時代はESSに所属しており、四大学英語劇大会に参加していた。1973年文学座附属演劇研究所に入所し、大学卒業と同時に文学座に入団。文学座の先輩である松田優作の紹介で岡田晋吉の目に留まり、翌年、日本テレビ系列で放送された青春ドラマ『われら青春!』の主役に抜擢され人気を獲得し、自らが歌う挿入歌『ふれあい』が100万枚を超えるセールスを記録した。実は松田が中村を紹介したのは、村野武範が松田を岡田に紹介した時同様に、マージャンに負けた時の約束だった。一躍その名を全国に轟かせ、以降、俳優としてテレビドラマや映画、ミュージカル、CMへの出演も行う一方で、歌手としてもデビューから毎年コンサートツアーを敢行する。その数は1,400回を超え、いずれも大きな成功を収めている。ドラマ『俺たちの勲章』、映画『凍河』で共演した五十嵐淳子との間に長男・俊太をもうけ、1977年2月1日に結婚した。結婚に関しては「デビューして間もなかったから、マネージャーや母親など周囲には猛反対されましたね。週刊誌の担当記者にも“仕事がなくなるぞ”と忠告されたし、当時1万人いたファンクラブ会員も一気に1800人まで減りました（笑）。当時は、結婚するだけで批判を受ける時代。“裏切り者雅俊”と報じたスポーツ紙は今でも持っています（笑）」と後に語っている。1985年に文学座を退団し、その後は俳優・歌手活動だけでなくテレビ番組やラジオ番組の司会進行役を務めるなどマルチな才能を発揮し、CMにも多数出演する。また、保険会社等が毎年発表する「理想の夫像・夫婦像」と題するアンケートでは常に上位にランクインし、幅広い層から支持を集めていることも証明される。ただし、年齢を重ねるに連れ近時では理想の父親、祖父ランキングの上位にランクインすることも増えている。パーソナリティを務めたTBSラジオ『中村雅俊マイ・ホームページ』は、2009年4月3日の最終回までに12年半に亘り放送された。また、フジテレビ系列で放送していたバラエティ番組『笑っていいとも!』の1コーナー、テレフォンショッキングの出場回数は、最後に出た2007年1月18日放送分をもって16回目を数え、最終回を終えた時点で男性ゲストの4位であった。東日本大震災で歌への思いも変化しており、「女川って町は小さな港町だから、もっと広い世界を見たいと思って、高校卒業後に町を出たんです。だけど震災後は、俺は女川の人間だから支えていかなきゃダメだって地元意識が強くなりました。微力ですけど、俺にできることがあるなら……と、できる限り被災地に足を運んでいるのですが、行くたびに音楽が持つ力を再確認させられます。大学時代に作って、2枚目のアルバムにも収録されている『私の町』という女川を歌った曲を歌うと、みなさん泣いて喜んでくれるんですよね。俺が役者1本だったり、『ふれあい』だけの一発屋だったらこうして多くの方とふれあえなかったはず。だから歌を続けてこられて、幸運な男だなって思います」と2017年のインタビューで述べている。