Faits:
A. A.a En raison d'une cure de hernie discale en C5-C6 pratiquée en juillet 1993, S._, né en 1959, a été mis au bénéfice d'une rente entière d'invalidité du 1er mai 1994 au 30 avril 1995 ainsi qu'une demi-rente pour le mois de mai 1995 (décisions des 14 décembre 1995 et 20 novembre 1996 de l'Office de l'assurance-invalidité pour le canton de Vaud [ci-après : l'office AI]).
A.b En août 1998, S._ a présenté une nouvelle demande de prestations qui a été rejetée par l'office AI (décision du 15 septembre 2000). L'assuré a recouru devant le Tribunal des assurances du canton de Vaud (jugement du 23 mai 2001), puis devant le Tribunal fédéral des assurances, qui a admis son recours et renvoyé la cause à l'office AI pour instruction complémentaire et nouvelle décision (arrêt du 9 juillet 2002; cause I 483/01).
A la suite de cet arrêt, le Service médical régional AI (SMR) a confié une expertise à la Clinique X._. Sur la base de ce rapport (du 27 janvier 2003) et après avoir requis l'avis du docteur P._, du SMR, l'office AI a retenu que l'assuré présentait une capacité de travail entière dans une activité adaptée à ses limitations fonctionnelles. Il a fixé le degré d'invalidité de S._ à 9,5 %, taux qui ne donnait pas droit à une rente (décision du 30 avril 2003, confirmée sur opposition le 10 septembre 2004). Le recours formé par le prénommé contre cette décision sur opposition a tour à tour été rejeté par le Tribunal des assurances du canton de Vaud (jugement du 18 juillet 2005) et par le Tribunal fédéral des assurances (arrêt du 21 novembre 2006; cause I 833/05).
A.c Le 2 février 2007, S._ a déposé une troisième demande de prestations. A l'appui de sa requête, il a produit les rapports médicaux des professeurs R._ et M._ ainsi que du docteur D._, établis respectivement les 10 juin 2005, 11 octobre 2005 et 4 janvier 2006. L'office AI a soumis ces documents pour appréciation au SMR qui a estimé qu'ils n'apportaient aucune information nouvelle par rapport à la symptomatologie relevée dans le cadre de l'expertise de la Clinique X._ (avis médicaux des 15 août 2007 et 18 juin 2008). Par décision du 4 septembre 2008, l'office AI a refusé d'entrer en matière sur la demande, motif pris que l'assuré n'avait pas réussi à rendre plausible une aggravation de son état de santé.
B. Par jugement du 14 mai 2009, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'intéressé contre la décision de l'office AI du 4 septembre 2008.
C. S._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire. Il conclut à l'annulation du jugement cantonal et au renvoi de la cause à l'administration pour complément d'instruction et nouvelle décision.
L'office AI conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le jugement entrepris peut faire l'objet d'un recours en matière de droit public au regard, notamment, des conditions posées par les art. 83 et 85 LTF. Partant, le recours constitutionnel subsidiaire n'est pas recevable (art. 113 LTF; cf. également arrêt 8C_1033/2008 du 26 mars 2009 consid. 3.3 et les références).
2. Le litige porte sur le point de savoir si c'est à bon droit que l'office AI a refusé d'entrer en matière sur la nouvelle demande du recourant du 2 février 2007.
3. Le jugement entrepris expose correctement les règles légales (art. 87 al. 3 et 4 RAI) applicables, ainsi que la jurisprudence relative à l'exigence incombant à l'assuré de rendre plausible que son invalidité s'est modifiée de manière à influencer ses droits pour justifier un nouvel examen matériel de la situation par l'administration. Il suffit d'y renvoyer.
4. 4.1 La juridiction cantonale a considéré que les documents médicaux émanant des professeurs R._ et M._ établissaient certes un nouveau diagnostic, mais que cela était insuffisant pour rendre plausible une aggravation de l'état de santé du recourant. En effet, les maux qui y étaient décrits recoupaient ceux que les médecins de la Clinique X._ avaient retenus sous le diagnostic de trouble somatoforme douloureux. Par ailleurs, les professeurs M._ et R._ ne formulaient aucune critique à l'encontre des conclusions de l'expertise de la Clinique X._, qui avait été jugée probante par le Tribunal fédéral des assurances, de sorte que l'office AI était fondé à rendre une décision de non entrée en matière.
4.2 Le recourant estime au contraire qu'il a satisfait aux exigences de l'art. 87 al. 3 RAI. Dans leurs rapports respectifs, les professeurs R._ et M._ faisaient état d'une grave discopathie C4-C5 (avec déchirure discale) ainsi que d'une discopathie débutante au niveau C2-C3. Selon ces médecins, l'ensemble des atteintes constatées au rachis permettaient d'expliquer les cervico-brachialgies et les lombalgies dont il souffrait et justifiaient une incapacité de travail d'au moins 50 % dans une activité sédentaire. Quand au docteur D._, il concluait à un syndrome de tunnel carpien au poignet droit et relevait un état dépressivo-anxieux. Tous ces diagnostics étaient nouveaux par rapport à ceux retenus par les médecins de la Clinique X._ et démontraient sans ambiguïté que son état de santé avait évolué depuis 2003. En méconnaissant ces changements dans sa situation médicale, la juridiction cantonale avait commis une appréciation arbitraire des preuves.
5. 5.1 Quand il s'agit de rendre plausible une modification déterminante des faits influant sur le droit aux prestations, il faut comparer la situation qui se présentait à l'époque de la dernière décision de refus d'allouer des prestations à celle prévalant au moment de la décision litigieuse de non entrée en matière (ATF 130 V 66 consid. 2).
5.2 La décision de refus déterminante se fonde sur les conclusions d'une expertise réalisée à la Clinique X._ où l'assuré avait fait l'objet d'investigations médicales approfondies durant trois jours, y compris au plan psychiatrique. A l'issue de celles-ci, les experts de la Clinique X._ n'ont constaté aucune diminution de la capacité fonctionnelle de travail pour des activités simples et adaptées. Les atteintes somatiques présentes chez l'assuré qui avaient une répercussion sur la capacité de travail (des discopathies en C5-C6, L4-L5 et L5-S1; une arthrose acromio-claviculaire; des troubles statiques des avant-pieds) entraînaient tout au plus les limitations suivantes : pas de port de charge de plus de 15 kg, pas d'activités répétées au-dessus de la ligne des épaules et pas de marches sur de longues distances. Les autres troubles (status après méniscectomie interne droit et gauche par athroscopie en 1992; status après bursectomie olécranienne gauche en 2000; neuropathie cubitale gauche) n'avaient aucune conséquence sur l'aptitude à travailler. Il existait une discordance entre les plaintes et l'examen clinique qui conduisait les médecins de la Clinique X._ à poser le diagnostic de trouble somatoforme indifférencié sans comorbidité psychiatrique.
5.3 A l'examen des nouvelles pièces produites, on ne voit pas que la juridiction cantonale aurait violé le droit fédéral (art. 95 let. a LTF) en considérant que le recourant n'avait pas établi de façon plausible une modification de son état de santé. Le rapport du professeur R._ est le compte-rendu de deux discographies de provocation qu'il a pratiquées les 3 mai et 6 juin 2005. D'après ce médecin, les résultats obtenus montrent que les cervico-brachialgies et les lombalgies dont se plaint l'assuré proviennent des vertèbres C4-C5, L4-L5 et L5-S1. On doit convenir que ces considérations apportent un éclairage nouveau en ce qui concerne l'origine des douleurs de l'assuré. Elles ne démontrent toutefois pas en quoi l'état de santé de l'intéressé se serait objectivement aggravé depuis janvier 2003. On ne peut pas l'inférer du seul fait que le professeur R._ fait état d'une discopathie en C4-C5 qui n'apparaît pas dans les diagnostics somatiques retenus par les experts de la Clinique X._. Ce médecin ne relève en effet aucun élément en relation avec cette atteinte permettant d'établir une évolution de la situation clinique de l'assuré et/ou une modification des limitations décrites antérieurement ayant une répercussion sur la capacité de travail de l'assuré. La même conclusion s'impose s'agissant du rapport du professeur M._ qui ne fait que confirmer l'interprétation des discographies donnée par son confrère sans s'étendre davantage sur ce qui aurait changé au plan clinique et fonctionnel. Ce faisant, ces médecins ne font que procéder à une nouvelle appréciation des faits après un examen plus approfondi. Cela ne suffit pas pour que les conditions d'une entrée en matière selon l'art. 87 al. 3 RAI soient réunies (voir arrêt 9C_286/2009 du 28 mai 2009, consid. 3.2.2). Au sujet du syndrome du tunnel carpien droit modéré évoqué par le docteur D._, on peut s'en tenir à l'avis convaincant du docteur P._, qui a estimé qu'il s'agissait d'une problématique d'importance secondaire et sans répercussions fonctionnelles significatives. On notera que le docteur D._ s'est abstenu de se prononcer sur les conséquences de cette atteinte sur la capacité de travail de l'assuré, faisant plutôt référence à la situation globale de celui-ci pour justifier la nécessité d'une nouvelle expertise. Enfin, on ne saurait retenir un état anxieux, faute d'un avis médical dûment étayé sur ce point.
Le jugement entrepris n'est par conséquent pas critiquable dans son résultat. Le recours se révèle mal fondé.
6. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF) sans pouvoir prétendre une indemnité à titre de dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral des assurances sociales.
Lucerne, le 18 août 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung von Zwehl