Faits:
A. G._ (né en 1958) s'est vu refuser trois fois des prestations de l'assurance-invalidité, alors que des mesures de réadaptation d'ordre professionnel allouées en 1998 et 1999 n'ont pas pu être menées à terme. Le 18 novembre 2004, il s'est à nouveau adressé à l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI), en produisant un rapport établi le 27 octobre 2004 par le docteur M._, spécialiste FMH en chirurgie orthopédique. L'administration a refusé d'entrer en matière, au motif que l'assuré n'avait pas rendu plausible une aggravation de son état de santé (décision du 27 avril 2006).
G._ s'est opposé à cette décision en s'appuyant sur un rapport rendu le 11 mai 2006 par le docteur O._, médecin auprès du Centre hospitalier X._. Admettant l'opposition de l'intéressé (décision sur opposition du 13 décembre 2007), l'office AI a chargé le docteur A._, spécialiste FMH en médecine interne et rhumatologie, de son Service médical régional (SMR) d'examiner l'intéressé. Le médecin a diagnostiqué une gonarthrose bilatérale avec foyer ostéochondritique du condyle fémoral interne DDC (M17), une arthrose tibio-astragalienne et médio-tarsienne gauche avec status après arthodèse astragalo-calcanéenne consolidée en bonne position (M19.1) et des lombosciatalgies gauche dans le cadre de troubles statiques et de discrets troubles dégénératifs du rachis (M54.4); il a conclu à une incapacité totale de travail dans l'activité de cuisinier depuis 1993, mais à une capacité de travail complète dans une activité strictement adaptée aux limitations fonctionnelles décrites (rapport du 19 février 2008).
Après qu'une mesure d'observation professionnelle a été interrompue en raison de problèmes psychiques de l'assuré attestés par le docteur B._, spécialiste FMH en psychiatrie, qui a indiqué un état dépressif important et préconisé une expertise psychiatrique (certificat du 18 septembre 2008 et rapport du 5 novembre 2008), l'office AI a mandaté le docteur U._, spécialiste FMH en psychiatrie, du SMR à cette fin. Dans son rapport du 25 février 2009, le psychiatre a conclu que G._ ne présentait aucun trouble psychiatrique ayant une répercussion sur la capacité de travail, l'épisode dépressif moyen dont il souffrait étant en rémission fin 2008 et n'influençant pas la capacité de travail. Fort de ces conclusions, l'office AI a, par décision du 21 août 2009, nié le droit de l'assuré à une rente, motif pris d'un degré d'invalidité (de 9.89 %) insuffisant pour fonder une telle prétention.
B. Statuant le 6 avril 2011 sur le recours formé par G._ contre cette décision, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud l'a rejeté.
C. G._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut principalement à sa réforme en ce sens qu'une rente entière d'invalidité lui soit allouée et la décision du 21 août 2009 annulée. A titre subsidiaire, il conclut à l'annulation du jugement entrepris.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte sur le droit du recourant à une rente d'invalidité, singulièrement sur le point de savoir si, à la suite de la nouvelle demande de l'assuré après un refus de prestations (cf. art. 87 al. 4 RAI), la situation de fait s'est modifiée de manière à influencer les droits de celui-ci. Il suffit d'y renvoyer.
3. Invoquant une violation des art. 6 § 1 CEDH et 14 Pacte II ONU sur le droit à un procès équitable, ainsi que de son droit d'être entendu (art. 29 Cst.), le recourant reproche tout d'abord aux premiers juges d'avoir refusé de mettre en oeuvre une expertise pluridisciplinaire (rhumatologique, orthopédique et psychiatrique) menée par des experts "neutres, c'est-à-dire détachés des réseaux habituels tels que SMR et OAI".
3.1 Bien que les rapports d'examen réalisés par un SMR en vertu de l'art. 49 al. 2 RAI ne soient pas des expertises au sens de l'art. 44 LPGA et ne soient pas soumis aux mêmes exigences formelles (ATF 135 V 254 consid. 3.4 p. 258), ils peuvent néanmoins revêtir la même valeur probante que des expertises, dans la mesure où ils satisfont aux exigences définies par la jurisprudence en matière d'expertise médicale (consid. 3.3.2 non publié de l'ATF 135 V 254 et les références). Même en tenant compte de la jurisprudence récente de la Cour européenne des droits de l'homme sur le principe de l'égalité des armes, tiré du droit à un procès équitable garanti par l'art. 6 § 1 CEDH, il n'existe pas, dans la procédure d'octroi ou de refus de prestations d'assurances sociales, de droit formel à une expertise menée par un médecin externe à l'assurance (ATF 135 V 465 consid. 4.3 p. 468). Il convient toutefois d'ordonner une telle expertise si des doutes, même faibles, subsistent quant à la fiabilité et à la pertinence des constatations médicales effectuées par le service médical interne de l'assurance (ATF 135 V 465 consid. 4.6 p. 471).
3.2 A l'appui de ses conclusions, le recourant affirme qu'il subsisterait des doutes (au sens de l'ATF 135 V 465) sur la fiabilité et les conclusions des expertises du SMR, en s'appuyant sur les rapports des docteurs M._, O._ et B._. Ce faisant, il n'expose pas en quoi l'appréciation des preuves à laquelle ont procédé les premiers juges est manifestement insoutenable. En particulier, il ne démontre pas, par une argumentation précise et qui se réfère concrètement au contenu des rapports médicaux qu'il critique, en quoi les évaluations médicales rendues le 27 octobre 2004 par le docteur M._, le 11 mai 2006 par le docteur O._ et les 5 et 24 novembre 2008 par le docteur B._ auraient dû conduire la juridiction cantonale, sous peine d'appréciation arbitraire, à douter de la fiabilité et de la pertinence des avis rhumatologique, respectivement psychiatrique, des médecins du SMR. En affirmant simplement que les rapports médicaux dont il cite des extraits démontrent qu'il souffre d'atteintes au niveau physique et psychique et que son état s'est aggravé, le recourant se borne à substituer sa propre appréciation à celle de la juridiction précédente.
A cet égard, l'autorité judiciaire cantonale a exposé de façon circonstanciée les raisons pour lesquelles les conclusions du docteur A._ étaient convaincantes au regard de l'appréciation des docteurs O._ et M._, qui avait dans une large mesure fondé ses conclusions sur une composante psychosociale étrangère à l'assurance-invalidité. On ajoutera qu'en se fondant sur le résultat des examens radiologiques préconisés par le docteur O._ (rapports du Service de radiodiagnostic et radiologie interventionnelle de X._ des 2 mai, 12 mai et 19 juin 2006), le docteur A._ a conclu à de discrets troubles dégénératifs du rachis, sans mettre en évidence une atteinte lombaire significative. Par ailleurs, les premiers juges ont examiné l'évaluation du docteur U._ à la lumière des constatations précédentes de son confrère B._ et constaté que le recourant avait subi sur le plan psychiatrique une incapacité de travail passagère de septembre à décembre 2008, pour recouvrir ensuite une pleine capacité de travail. Le recourant n'invoque aucun argument susceptible de remettre ces constatations en cause, le seul fait d'exprimer un étonnement quant aux conclusions du rapport psychiatrique du SMR n'étant pas suffisant pour établir que l'appréciation (anticipée [cf. ATF 131 I 153 consid. 3 p. 157]) des preuves opérée par l'autorité cantonale est manifestement inexacte, incomplète ou arbitraire.
3.3 En conséquence de ce qui précède, on ne saurait reprocher à l'autorité cantonale de recours une violation du droit à un procès équitable ou du droit d'être entendu de l'assuré. Faute de doutes sur la pertinence des constatations des médecins internes à l'assurance - l'absence de doutes constituant une constatation de fait, dont l'argumentation du recourant n'établit pas le caractère manifestement inexact -, les premiers juges n'avaient pas à ordonner une expertise judiciaire (ou à enjoindre à l'intimé de mettre en oeuvre une expertise auprès d'un médecin externe à l'assurance), les principes posés par le Tribunal fédéral dans l'ATF 137 V 210 en matière de respect d'une procédure administrative et de recours équitable ne conduisant pas, au demeurant, à un autre résultat.
4. Le recourant se prévaut ensuite d'une appréciation arbitraire des preuves en ce que la juridiction cantonale n'a pas tenu compte des deux rapports médicaux qu'il a produits en instance cantonale.
Si on pouvait certes attendre de l'autorité cantonale de recours qu'elle se prononçât sur le sort des pièces médicales transmises par le recourant les 4 et 16 février 2011, soit largement après la fin de l'échange d'écritures ordonné par le tribunal, le recourant ne saurait toutefois rien en tirer en sa faveur. Les deux rapports médicaux (datés des 24 janvier et 8 février 2011) font état d'un nouveau diagnostic ("suspicion de déchirure méniscale interne et externe au genou droit") constaté bien après la date déterminante de la décision administrative du 21 août 2009, qui définit le cadre temporel de l'examen du juge (ATF 131 V 242 consid. 2.1 p. 243; 121 V 362 consid. 1b p. 366). Il ne s'agit donc pas d'éléments de preuve pertinents pour apprécier la situation du recourant jusqu'à cette date.
5. Il résulte de ce qui précède que le recours est mal fondé. Vu l'issue du litige, les frais de la procédure sont mis à la charge du recourant (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 26 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless