1990年、ヤマハ発動機に入社し、サッカー部（後のジュビロ磐田）に入部。当時のヤマハは完全プロ化への移行は成されていなかったため、サラリーマン生活も経験した。同年の第1回ダイナスティカップ北朝鮮戦で日本代表デビュー。翌年、ヤマハ発動機サッカー部がJリーグ開幕10チームから落選することが決定すると、Jリーグ参戦が決まった新規クラブの清水エスパルスからオファーを受けるが固辞しヤマハに残留した。1992年に発足したオフトジャパンでは試合終盤に投入されるスーパーサブとして活躍し、第2回ダイナスティカップやアジアカップの初優勝に貢献する。1993年はクラブがジャパンフットボールリーグ（JFL）在籍にもかかわらず、1994 FIFAワールドカップ・アジア予選のメンバーにも選ばれ、最終予選では途中からスタメンに定着して活躍を見せた。また予選中その陽気なトークや（ニッポン放送のサッカー番組で彼のレポートコーナーが常設されていた）熱意溢れるプレーがマスコミで話題となり、一躍全国区の人気者となる。アジア最終予選最終戦のイラク戦でロスタイムに同点ゴールを決められ引き分けた、いわゆる『ドーハの悲劇』の際に、交代してベンチに座っていた中山が地面に頽れた様子は、ワールドカップ行きの切符を逃したこの試合・出来事をテレビ番組などで振り返るときに必ずといっていいほど流されるシーンとなった（ただし本人はこの時地面に頽れたことを「まだ試合終了の笛がなっていないのに諦めてしまった」と後悔している）。またこの年、ジュビロ磐田はJFL1部で2位となり、1年遅れながら悲願だったJリーグ昇格を果たした。1994年のJリーグ開幕当初は試合に出場したが、前年までの代表及びクラブでのフル稼働が原因で、恥骨結合炎及びスポーツヘルニア（現在は「グローインペインシンドローム」と総称される、サッカー選手に頻発する股関節障害）が悪化し、4月末に戦線離脱を余儀なくされる。当時の日本のスポーツ医学の立ち遅れで、同様の故障で引退に追い込まれる選手もいたが、同様の症状に苦しんだ経験のある菊原志郎や福田正博に助言を受け、専門医のいるドイツで手術を受ける。以後リハビリが続き、8か月もの間ピッチを離れシーズンを棒に振った。1995年には怪我から復帰し開幕から好調なスタートを切った。元イタリア代表サルヴァトーレ・スキラッチとのコンビはJリーグ最強と言われた。前年の怪我のために離れていた代表にもキリンカップで復帰したが、6月のアンブロ・カップ英国遠征にて故障し、翌シーズンの不調もあり一時期代表から遠ざかる。1997年は、ドゥンガや山本昌邦らとのトレーニングにより、「オフ・ザ・ボールの動きの質」に開眼。第2ステージでは自身Jリーグにおいては自身初となるハットトリックも記録するなど結果を残してステージ優勝に貢献。直後に1998 FIFAワールドカップ・アジア予選の最終局面で代表へ復帰して今度は日本代表の予選突破に貢献。日本の本大会初出場を決めたアジア第3代表を決めるイラン戦（「ジョホールバルの歓喜」）では、岡田武史監督から2トップ組む三浦知良と共に交代を命じられ、呂比須ワグナー及び城彰二が投入された。更に鹿島アントラーズとのチャンピオンシップでも3ゴールを挙げてMVPとなる活躍を見せ、磐田のリーグ初制覇に貢献した。1998 FIFAワールドカップに日本代表として出場。グループリーグで敗退したものの、3試合すべてで先発し、ジャマイカ戦でセオドア・ウィットモアに2点を取られ、日本は敗れたものの、日本代表のワールドカップ初ゴール・日本人初ゴールを決める。その直後の相手選手との接触で脚を骨折しながらも試合終了まで走り続けたことは、日本代表としての誇りと魂の象徴として、今も語り草になっている（「骨折していながらもゴールを決めた」「ゴールと引き換えに骨折した」というのは誤り）。同年のリーグ戦では4月15日の対セレッソ大阪戦（長居陸上競技場）での5得点（Jリーグのリーグ戦における「1試合1人での最多得点」タイ記録）を皮切りに、4月18日の対サンフレッチェ広島戦（ジュビロ磐田スタジアム）で4得点、4月25日の対アビスパ福岡戦（熊本市水前寺競技場）で4得点、4月29日の対コンサドーレ札幌戦（ジュビロ磐田スタジアム）で3得点と4試合連続のハットトリックを記録し、ギネスブックに掲載された（2016年11月にクロアチア東部の地域リーグであるドラーチチェ・ジャコボ所属のFWステファン・ルチヤニッチが5試合連続ハットトリックを達成して記録は塗り替えられている）。この荒稼ぎで第1ステージ制覇に貢献。ワールドカップでの骨折のためナビスコカップの優勝はピッチで味わえなかったものの、後半戦も1試合1点のペースで得点しつづけ、シーズン合計では27試合出場で36得点（現在でもリーグ戦の最多得点記録）を記録し当年度の得点王、MVP獲得など個人タイトルを総なめにした。しかしチャンピオンシップでは前年の雪辱を期する鹿島に敗れ、リーグ優勝を逃す。1999年にJリーグ選手協会副会長に就任。コパ・アメリカに招待された日本代表にも招集されるが、アルゼンチン合宿中に右眼窩底骨折で帰国し、手術。失明寸前の重傷で復帰まで1年近くはかかる、という医師の制止を振り切って2ヵ月で復帰した。それ以外にも手の骨折など怪我に苦しみ満身創痍ながらも、清水とのチャンピオンシップでは2ゴールを挙げ制覇に貢献。なお第1戦のPKによるVゴールは、彼のプロ生活初のVゴールであった。2000年前期は故障もあって思うような活躍ができず、代表からも外され不本意な時期が続く。しかし、夏以降は本来の実力を発揮しJ通算100ゴールを達成、シーズン通算でも20得点を記録しJリーグ史上初の2回目の得点王を獲得する。なお、2月16日に行われたアジアカップ予選の対ブルネイ戦において、試合開始3分15秒でハットトリックを記録し、国際試合における最短ハットトリックとしてギネスブックに掲載された（これ以前の記録は、1938年11月16日にイングランド代表のジョージ・ホールがマークした3分30秒である）。2001年に井原正巳に代わりJリーグ選手協会会長に就任。前年からの好調を続け代表にも復帰。クラブは第1ステージを圧勝し、第2ステージも2位と年間を通して強さを発揮するが、チャンピオンシップで鹿島に敗れ年間優勝をのがす。更にナビスコカップ決勝でも横浜F・マリノスにPK戦の末敗れるなど、無冠に終わる。2002年、当初は候補合宿に招集されるなど2002 FIFAワールドカップ代表入りが有力視されていたが、リーグ開幕から不調（ワールドカップによる中断までわずか1得点）で、直前の海外遠征のメンバーから外された。更に当時のトルシエ監督が落選をほのめかしたことから、本大会代表には選ばれないとの推測・報道が多数を占めたが、世間一般からの「中山待望論」（直前のカップ戦ではアウェイゲームにも関わらず相手サポーターからも「ナカヤマ・ニッポン」コールが起こった）に加え、ベテラン抜きだった直前遠征で結果が出せなかった代表に足りない「精神的支柱」としての意味もあり、秋田豊とともに2002 FIFAワールドカップ日本代表に選出され、選出されなかった中村俊輔が付けていた背番号10を背負った。日本のワールドカップ初勝利となったロシア戦で後半途中からピッチに立つ。「ドーハの悲劇」、1998年W杯、2002年W杯を日本代表として経験した唯一の選手 となった。クラブでは同年のリーグ得点王となった高原直泰とのコンビで再開後のリーグ戦でゴールを量産し、自身は16ゴールを上げ、この年のリーグ戦では日本人のみなら得点王の高原に次ぐ得点をとった。そして、磐田の両ステージ制覇によるリーグ完全優勝に貢献しベストイレブンに選出された。2003年5月に10年前の恥骨結合炎が再発し戦線離脱。半年のリハビリの末、終盤戦に復帰。復帰初戦となった東京ヴェルディ1969戦では、試合中にも関わらず中山がユニホーム姿になると場内が騒然とした。相手DF米山篤志は「あれは異様な雰囲気だった」とコメントするほどだった。試合後、監督の柳下正明は「当初はこの試合では（中山を）起用しないつもりだった」としたうえで「エリア内では仕事をするのでそこに賭けた」とコメント。事実投入直後のコーナーキックで磐田は同点に追いつき、その勢いのまま逆転勝利を収めている。しかしながら、最終節横浜FMに敗れたことによりリーグ戦の優勝は逃す。しかし天皇杯ではスーパーサブとして、ヤマハ発動機時代以来の優勝に貢献した。2005年5月1日の柏レイソル戦（柏の葉公園総合競技場）での前半2分、自らが倒されて得たPKを決め、Jリーグ史上初の個人150ゴールを達成する。9月24日の柏戦（ヤマハスタジアム）では、Jリーグ15人目（フォワードとしては史上初）の300試合出場を達成。久々にほぼフルシーズン稼動した。2006年9月17日の川崎フロンターレ戦（等々力陸上競技場）の後半32分に得点を挙げ、磐田がJリーグに加盟した1994年から、J1リーグ戦における13年連続ゴールを達成した（「公式戦」での連続ゴールならば、既に同年4月25日のナビスコカップ・大宮アルディージャ戦で達成）。この記録は過去に三浦知良（2006年に当時J2の横浜FCにシーズン通して在籍しており、J1リーグ連続ゴール記録は断絶している）、澤登正朗（2005年引退）、藤田俊哉しか成し遂げていない記録である。2007年には5月3日の清水エスパルス戦（日本平スタジアム）の前半22分にPKを決め、J1リーグ戦史上初となる14年連続ゴールを達成した。このゴール時の年齢は39歳7か月10日で、同年5月12日に当時40歳2か月16日の三浦知良がゴールを決めるまでJリーグの日本国籍選手最年長ゴール記録だった。また5月28日に2001年から続けてきた選手協会の会長職を藤田俊哉に譲り、名誉会長に就任した。2008年3月15日のガンバ大阪戦（エコパスタジアム）でもロスタイムにゴールを挙げ、J1リーグ戦15年連続ゴールを達成。歴代3位となる自身のゴール時年齢記録も伸ばしている（40歳5か月22日）。なおJ1リーグ戦史上最年長ゴール記録はジーコの41歳3か月、2位はその後40歳6か月まで記録を伸ばしている三浦知良である。5月25日にはナビスコカップ清水戦（日本平スタジアム）で、後半43分にCKをヘディングで決めて、40歳7か月13日の最年長ゴール記録を保持していたジーコを抜いてナビスコカップ最年長ゴール記録を塗り替える（中山は40歳8か月2日）で、快挙を達成したが、試合には敗れたため、本人から喜びの言葉はなかった。また、この得点が2018年現在も中山が公式戦で挙げた最後の得点となっている。2009年シーズンは出場機会が激減。自身が同年42歳の高齢となったこともあり、11月9日に磐田から戦力外通告を受け、同時にスタッフとしての残留要請を受けた。しかし現役続行に強い意欲を示す中山はこれを断り、新天地を探すことを選択した。また、この年は中山と同じく磐田がJリーグに加盟した1994年から在籍し、この年の時点で中山と共に2002年の完全優勝を知る選手であった鈴木秀人も戦力外通告を受けた。同年のヤマハスタジアムでの公式戦最終戦となった11月28日の広島戦の後半途中から出場し、当時ラモス瑠偉が保持していたJ1最年長出場記録（41歳9か月5日）を更新（42歳2か月5日）。試合後には中山が挨拶を行ない、サポーターへの感謝と現役続行への意欲を表明した。最終節のヴィッセル神戸戦（ホームズスタジアム神戸）での出場機会は回ってこなかったが、試合後両チームのサポーターの声援に応え、1万5000人の拍手を浴びながら磐田での最後の試合を終えた。