Faits:
A. A.a Par décision sur opposition du 18 février 2005 (confirmée par jugement du Tribunal des assurances du canton de Vaud du 8 mars 2006), l'Office cantonal de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a rejeté la demande de prestations de B._. L'administration s'est fondée à l'époque sur un rapport du docteur G._, spécialiste FMH en médecine interne et rhumatologie (du 22 juillet 2002), ainsi que sur une évaluation (du 20 novembre 2002) du docteur L._, spécialiste FMH en psychiatrie et psychothérapie, médecin auprès du Service médical régional AI (SMR). Retenant tous deux le diagnostic de trouble somatoforme douloureux sous forme de lombalgies chroniques (en plus de cervicalgies subaiguës et de troubles dégénératifs modérés du rachis, sur le plan rhumatologique), les médecins ont conclu à une capacité entière de travail dans une activité adaptée, respectant les limitations décrites (le docteur G._ attestant par ailleurs une incapacité de travail de 50 % dans l'ancienne activité de chauffeur livreur).
A.b Le 9 juin 2008, B._ a présenté une nouvelle demande de prestations en produisant un rapport d'évaluation (du 14 avril 2008) relatif à un stage suivi auprès de X._. Après avoir recueilli les avis des médecins traitants de l'assuré (les docteurs D._, spécialiste FMH en médecine interne, V._, spécialiste FMH en médecine interne et gastroentérologie, et M._, spécialiste en psychiatrie et psychothérapie), l'office AI a soumis le dossier au docteur Q._, spécialiste FMH en chirurgie, du SMR. Celui-ci a nié l'existence de modification significative de l'état de santé depuis février 2005 et conclu à une capacité de travail inchangée (avis du 23 décembre 2008). Fort de ces conclusions, l'office AI a informé l'intéressé qu'il entendait rejeter sa demande, motif pris d'un degré d'invalidité (de 18,22 %) insuffisant pour ouvrir le droit à une rente (projet de décision du 6 février 2009). Il a maintenu sa position par décision du 8 septembre 2009, en se référant à un nouvel avis du SMR du 21 avril 2009.
B. Statuant le 17 mai 2011 sur le recours formé par l'assuré contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté.
C. B._ interjette un recours en matière de droit public contre ce jugement. Sous suite de dépens, il en demande l'annulation et conclut au renvoi de la cause à la Cour des assurances sociales du Tribunal cantonal vaudois pour complément d'instruction et nouvelle décision.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Tout en renvoyant au jugement entrepris en ce qui concerne les règles légales et la jurisprudence applicables au présent litige, on précisera que lorsque l'administration entre en matière sur une nouvelle demande après un refus de prestations (cf. art. 87 al. 4 aRAI), elle doit instruire la cause et déterminer si la situation de fait s'est modifiée de manière à influencer les droits de l'assuré. En cas de recours, le juge est tenu d'effectuer le même examen quant au fond (ATF 130 V 64 consid. 2 p. 66 et les arrêts cités). Par analogie avec le cas de la révision au sens de l'art. 17 LPGA, pour déterminer si la modification des faits (relatifs à l'état de santé ou la situation économique) suffit à admettre le droit à la prestation litigieuse, il y a lieu de comparer les faits tels qu'ils se présentaient au moment de la décision de refus de prestations (respectivement la dernière décision entrée en force qui repose sur un examen matériel du droit à la rente) et les circonstances existant au moment du prononcé de la nouvelle décision (ATF 130 V 71 consid. 3.2.3 p. 75).
3. Faisant siennes les conclusions du SMR du 21 avril 2009, la juridiction cantonale a constaté que l'état de santé du recourant n'avait pas subi de changement significatif depuis la décision sur opposition du 18 février 2005 et qu'il disposait d'une capacité de travail entière dans une activité adaptée, respectant les limitations fonctionnelles établies. En particulier, sur le plan somatique, aucune aggravation des lombalgies chroniques diagnostiquées à l'époque par le docteur G._ n'avait été mise en évidence par les rapports des docteurs V._ et D._. Par ailleurs, le diagnostic de trouble somatoforme douloureux ne pouvait pas être considéré comme une nouvelle atteinte invalidante, dès lors que le docteur L._ en avait déjà fait état en 2002, en considérant que ce trouble ne correspondait pas à une atteinte à la santé invalidante. De plus, les médecins traitants du recourant n'avaient pas relevé d'éléments liés à ce diagnostic qui n'auraient pas été pris en considération à l'époque de la première décision administrative. Au contraire, il ne ressortait pas du rapport du psychiatre traitant que l'assuré présentait un état douloureux d'une gravité particulière telle que la mise en valeur de sa capacité de travail ne pouvait plus être exigée de sa part, le docteur M._ ayant indiqué que les troubles psychiques ne représentaient pas le facteur déterminant d'une incapacité durable de travailler.
Compte tenu de la capacité résiduelle de travail ainsi déterminée, les premiers juges ont ensuite confirmé le degré d'invalidité tel que fixé par l'intimé à 18,22 %.
4. 4.1 Invoquant une violation du droit (art. 6 et 8 LPGA; 28 LAI), le recourant reproche tout d'abord aux premiers juges de n'avoir pas mis en oeuvre une expertise psychiatrique, voire pluridisciplinaire, alors qu'une telle mesure d'instruction est nécessaire selon la jurisprudence pour apprécier le caractère invalidant du trouble somatoforme douloureux dont il souffre et que de nouveaux éléments (consultation régulière d'un psychiatre, traitement médicamenteux antidépresseur et présence de phobies) sont apparus par rapport aux constatations du docteur L._ en 2002.
4.2 Conformément à la jurisprudence citée par le recourant (ATF 130 V 352 consid. 2.2.5 p. 355), une expertise psychiatrique est en principe nécessaire quand il s'agit de se prononcer sur l'incapacité de travail que des troubles somatoformes douloureux sont susceptibles d'entraîner. Une telle appréciation psychiatrique n'est toutefois pas indispensable lorsque le dossier médical comprend suffisamment de renseignements pour exclure l'existence d'une composante psychique aux douleurs de l'assuré qui revêtirait une importance déterminante au regard de la limitation de la capacité de travail. Le Tribunal fédéral a ainsi retenu que des éclaircissements de la part d'un médecin psychiatre n'étaient pas nécessaires lorsqu'il n'existait aucun indice que l'assuré présentât une problématique psychique invalidante (arrêt I 761/01 du 18 octobre 2002, in SVR 2003 IV n° 11 p. 31).
4.3 Dans le cadre de sa première demande de prestations à l'assurance-invalidité, le recourant a été soumis à une évaluation psychiatrique auprès du docteur L._, selon laquelle il souffrait d'un trouble somatoforme douloureux qui n'entraînait aucune limitation de sa capacité de travail; aucune comorbidité psychiatrique n'avait par ailleurs été relevée. Au cours de l'instruction de la seconde requête du recourant, le docteur M._ a retenu les diagnostics de trouble somatoforme douloureux, de trouble anxieux sans précision et de lombalgies existant depuis une dizaine d'années. Il a cependant indiqué que la problématique de son patient était "avant tout sur le terrain somatique" et qu'il n'y avait "pas de maladie psychiatrique justifiant une incapacité 'séparée'", les restrictions étant uniquement physiques (rapport du 18 juillet 2008). Dans un courrier au conseil de l'assuré (du 22 janvier 2010), le psychiatre traitant a encore précisé qu'il était d'accord avec l'appréciation de son confrère L._, en ce que les troubles psychiques ne constituaient pas le facteur déterminant d'une incapacité durable de travailler, les symptômes somatiques se trouvant au premier plan.
Compte tenu de l'évaluation du docteur M._, qui, contrairement à ce qu'allègue le recourant, est déterminante pour apprécier son état de santé du point de vue psychique et la nécessité d'investigations complémentaires, une expertise psychiatrique se révèle superflue, comme l'a constaté à juste titre la juridiction cantonale. Les éléments médicaux dont fait état le psychiatre traitant ne laissent en effet pas apparaître d'indice suffisant en faveur d'une limitation de la capacité de travail de son patient au plan psychique. Quant aux "nouveautés" invoquées par le recourant, elles ne justifient pas davantage la mise en oeuvre d'une expertise psychiatrique, puisque le psychiatre traitant s'est prononcé en prenant en considération le fait que son patient suivait une thérapie de soutien avec un traitement médicamenteux et lui avait "annoncé" des symptômes phobiques (que le médecin ne met pas en relation avec une quelconque incapacité de travail).
4.4 Pour le surplus, en tant que le recourant soutient qu'une expertise médicale pluridisciplinaire s'impose, parce que l'avis du docteur D._ "laisse présumer d'une aggravation" au regard de la liste des limitations fonctionnelles retenues par rapport à celles décrites à l'époque par le docteur G._, son argumentation n'est pas pertinente. On ne voit pas en quoi, et le recourant ne le précise pas, les limitations retenues par le docteur G._ seraient différentes de celles dont a fait état le médecin traitant. En invoquant une présomption d'aggravation, le recourant ne fait en réalité que substituer sa propre appréciation à celle des premiers juges. Ce faisant, il n'établit pas en quoi leurs constatations sur l'absence de modification de son état de santé sur le plan somatique seraient manifestement inexactes ou insoutenables.
Par ailleurs, la juridiction cantonale a expliqué les raisons qui la conduisaient à suivre l'avis du docteur Q._ plutôt que celui du docteur D._ en ce qui concerne l'étendue de la capacité de travail dans une activité adaptée. A cet égard, c'est en vain que le recourant critique l'évaluation du SMR en faisant valoir qu'elle ne serait pas globale. Dans un rapport de synthèse des renseignements versés au dossier (cf. art. 59 al. 2bis LAI), le médecin du SMR a pris en compte l'ensemble des appréciations médicales recueillies par l'administration et repris une à une les évaluations des docteurs M._, V._ et D._, en mettant en évidence, au regard des observations de ses confrères, l'absence de péjoration de l'état de santé du recourant, tant du point de vue somatique que psychique. En particulier, il a précisé que le médecin traitant n'avait fait état d'aucun élément nouveau par rapport aux constatations du docteur G._, de sorte que son appréciation de la capacité de travail (de 50 %) ne pouvait être suivie, faute de motivation. A la lecture du rapport du docteur D._, on constate en effet que son estimation de la capacité de travail n'est pas motivée et que la seule aggravation mentionnée est liée au diagnostic d'état dépressif larvé, que le psychiatre traitant n'a toutefois pas retenu dans sa propre appréciation.
5. 5.1 Le recourant se prévaut encore d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.), parce que la juridiction cantonale n'a pas répondu à ses critiques relatives aux contradictions que contiendrait son dossier et considéré qu'il n'avait pas contesté les éléments économiques ayant permis de fixer le taux d'invalidité à 18,22 %.
5.2 Une autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 117 Ia 116 consid. 3a p. 117; arrêt 9C_561/2009 du 14 janvier 2010 consid. 6.2). Par ailleurs, la jurisprudence a déduit du droit d'être entendu, consacré à l'art. 29 al. 2 Cst., le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision; elle n'a toutefois pas l'obligation d'exposer et de discuter tous les arguments invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, lui paraissent pertinents (ATF 134 I 83 consid. 4.1 p. 88; 129 I 232 consid. 3.2 p. 236; 126 I 97 consid. 2b p. 102 s.).
5.3 En l'occurrence, dans son recours devant la juridiction cantonale, l'intéressé s'est contenté d'expliquer qu'il avait "peine à comprendre" le revirement de l'administration, qui avait dans une note interne indiqué un degré d'invalidité de 23 % (après lui avoir reconnu le droit à une orientation professionnelle), avant de fixer l'invalidité à 18,22 % dans la décision litigieuse. Il n'en a cependant déduit aucune conclusion juridique, ni précisé en quoi le taux finalement retenu par l'intimé dans sa décision - seul déterminant pour le litige - était erroné au regard des éléments économiques nécessaires pour évaluer l'invalidité selon la méthode de la comparaison des revenus (cf. art. 16 LPGA). Son grief n'est par ailleurs pas pertinent, puisque les deux taux d'invalidité qu'il invoque conduisent à nier le droit à une rente d'invalidité. On ne saurait dès lors reprocher aux premiers juges d'avoir renoncé à le discuter, de sorte que le moyen tiré de la violation du droit d'être entendu se révèle mal fondé.
6. Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours doit être rejeté.
7. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 mai 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless