Faits:
A. Invoquant souffrir de maux de dos en raison d'une chute (d'une hauteur de 1 m. 20) survenue sur le chantier où il travaillait comme manoeuvre, A._ a déposé le 26 janvier 1998 une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: Office AI) l'a rejetée par décision du 18 novembre 1998. Ayant formé recours contre ce prononcé, l'assuré a été débouté par le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal, Cour des assurances sociales), le 30 mai 2000. Sollicité une nouvelle fois par A._ le 5 juillet 2002, l'Office AI a rendu une décision le 22 décembre 2004, confirmée sur opposition le 11 octobre 2005, par laquelle il a rejeté la demande. Le recours formé par l'intéressé a été derechef rejeté par le Tribunal des assurances (jugement du 13 mars 2006).
Le 28 mars 2008, A._ a adressé une nouvelle demande de prestations de l'assurance-invalidité à l'Office AI. La doctoresse M._, psychiatre-psychothérapeute traitant, a diagnostiqué un trouble dépressif récurrent, épisode actuel moyen, un syndrome douloureux somatoforme persistant, un état de stress post-traumatique, un retard mental léger ainsi que des troubles mentaux et troubles du comportement liés à l'utilisation du tabac (dépendance active); en raison de ces atteintes, l'assuré ne disposait plus que d'une capacité de travail de 20 %. Selon le médecin, les hospitalisations, l'épuisement des moyens de traitement tant hospitalier qu'ambulatoire ainsi que l'évolution sans amélioration constituaient des éléments nouveaux dans le sens d'une aggravation de l'état de santé de l'intéressé (rapport du 21 juin 2008). Par décision du 20 août 2008, l'Office AI a refusé d'entrer en matière sur la requête.
B. Statuant le 4 novembre 2009 sur le recours de l'assuré, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud, a débouté A._ de ses conclusions.
C. L'assuré interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut à la mise en oeuvre d'une expertise médicale pluridisciplinaire et au renvoi de la cause au Tribunal cantonal "pour un nouveau jugement au sens des considérants".
Le Tribunal fédéral a renoncé à ordonner un échange d'écritures.
Considérant en droit:
1. Le litige porte sur le point de savoir si l'intimé était tenu d'entrer en matière sur la demande du 28 mars 2008, respectivement si le jugement entrepris, par lequel le bien-fondé du refus d'entrer en matière a été admis, est conforme au droit. A cet égard, le jugement attaqué expose correctement les règles légales et la jurisprudence applicables au présent cas, singulièrement celles relatives à l'exigence incombant à l'assuré en cas de nouvelle demande de rendre plausible que son invalidité s'est modifiée de manière à influencer ses droits. Il suffit d'y renvoyer.
2. 2.1 Compte tenu de son pouvoir d'examen restreint (art. 105 LTF), il n'appartient pas au Tribunal fédéral de procéder une nouvelle fois à l'appréciation des preuves administrées, mais à la partie recourante d'établir en quoi celle opérée par l'autorité cantonale serait manifestement inexacte ou incomplète, ou en quoi les faits constatés auraient été établis au mépris de règles essentielles de procédure.
2.2 Examinant les rapports médicaux au dossier, et spécialement celui de la doctoresse M._ du 21 juin 2008, la juridiction cantonale a retenu que le recourant n'avait pas rendu plausible que son état de santé s'était modifié de manière à influencer ses droits. En particulier, les éléments mis en évidence par le psychiatre traitant - état de stress post-traumatique et absence d'amélioration depuis dix ans malgré divers traitements - ne suffisaient pas à rendre plausible une aggravation déterminante de la situation médicale de l'assuré. Les premiers juges ont ainsi nié, à défaut d'un événement particulièrement stressant, l'existence d'une nouvelle pathologie psychiatrique et constaté que l'état dépressif mentionné par la doctoresse M._ ne constituait pas une comorbidité psychiatrique au trouble somatoforme douloureux, les composantes de gravité et d'acuité n'étant pas présentes. Aussi, était-ce à bon droit que l'administration n'était pas entrée en matière sur la nouvelle demande du recourant.
2.3 Invoquant l'arbitraire, le recourant reproche à la juridiction cantonale de n'avoir pas admis que son état de santé s'était aggravé depuis le dernier prononcé de l'intimé. Tant les hospitalisations qu'il a subies que l'épuisement des moyens de traitement hospitalier et ambulatoire, ainsi que la persistance de la symptomatologie sans amélioration auraient dû amener les premiers juges à conclure que les effets de son trouble somatoforme douloureux provoquaient une incapacité de travail supérieure à 70 %.
Cette argumentation n'est en l'espèce pas de nature à remettre en cause les constatations de faits des premiers juges, ni l'appréciation qu'ils en ont faite. En énumérant les différents critères posés par la jurisprudence qui permettent d'admettre, à titre exceptionnel, le caractère invalidant de troubles somatoformes douloureux en l'absence de comorbidité psychiatrique, et en affirmant qu'ils sont réalisés, le recourant substitue son propre point de vue à celui des premiers juges. Ce faisant, il n'explique pas en quoi l'appréciation des preuves administrées par la juridiction cantonale serait manifestement inexacte ou incomplète, ou en quoi les faits constatés auraient été établis en violation du droit. Ses critiques ne sont dès lors pas pertinentes. Par ailleurs, sa requête tendant à la mise en oeuvre d'une expertise médicale pluridisciplinaire doit être rejetée, puisque les pièces au dossier apparaissent suffisantes pour se forger une conviction (voir aussi sur l'appréciation anticipée des preuves, ATF 122 II 464 consid. 4a p. 469, 122 III 219 consid. 3c p. 223).
3. Il résulte de ce qui précède que le recours est mal fondé.
Vu l'issue de la procédure, le recourant supportera les frais judiciaires (art. 65 al. 4 let. a et 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal, Cour des assurances sociales, du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 5 juillet 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser