Faits:
A. B._, originaire de Serbie et du Monténégro, exerçait l'activité d'employée de maison au service d'un établissement médico-social à Z._ depuis 1999. Mise en arrêt de travail à 100 % à partir du mois de février 2005, elle a présenté une demande de prestations de l'assurance-invalidité le 17 août suivant. Après avoir recueilli divers avis médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a soumis l'assurée à une expertise pluridisciplinaire auprès du Centre d'observation de l'assurance-invalidité (COMAI). Les docteurs O._, spécialiste FMH en rhumatologie, et C._, spécialiste FMH en psychiatrie et psychothérapie, y ont examiné l'assurée, le 18 janvier 2007, en présence de A._, interprète. Dans leur rapport du 16 mars 2007, ils ont fait état d'une hernie discale L3-L4 paramédiane droite sans déficit radiculaire et, comme diagnostics sans effet sur la capacité de travail, d'un syndrome douloureux chronique touchant les ceintures scapulaire et pelvienne assimilable à une fibromyalgie, d'hypertension artérielle, d'hypercholesterolémie et de dysthymie. Ils ont conclu à une capacité de travail entière de l'assurée dans une activité permettant d'éviter le port de charges de plus de quinze kilos (limite possible occasionnellement), le port de charge régulier entre cinq et sept kilos étant admissible. Selon eux, il existait cependant une baisse de rendement de 20 % sur le plan psychique.
Accusant réception de l'expertise le 3 mai 2007, B._ en a contesté la valeur probante notamment parce que l'interprète mandaté ne parlait pas sa langue, ce qui l'avait fortement perturbée et déstabilisée. Elle demandait dès lors qu'une nouvelle expertise pluridisciplinaire ou du moins un complément d'expertise soient ordonnés. Par courrier du 30 novembre 2007, le COMAI a répondu à des questions complémentaires de l'office AI sur les langues parlées par l'interprète, la langue de communication utilisée par celui-ci pour parler à B._ lors de l'expertise et d'éventuelles difficultés de compréhension survenues au cours de celle-ci.
Le 19 mai 2008, l'assurée a transmis à l'administration deux expertises rendues respectivement par le docteur H._, spécialiste FMH en médecine interne et rhumatologie, le 17 décembre 2007, et par le docteur L._, spécialiste FMH en psychiatrie et psychothérapie, le 14 avril 2008. Le premier médecin, qui a précisé que l'expertise avait été menée en présence du mari de B._, concluait à une capacité résiduelle de travail dans une activité adaptée de 80 % d'un point de vue essentiellement somatique. Le second faisait état d'une capacité résiduelle de travail de 50 %, susceptible d'être augmentée progressivement à 60 % au moins. Par décision du 29 juin 2009, l'office AI a nié le droit de B._ à une rente d'invalidité, motif pris d'un taux d'invalidité (de 20 %) insuffisant pour ouvrir le droit à une telle prestation.
B. Statuant le 23 février 2012 sur le recours formé par l'assurée contre cette décision, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, l'a rejeté.
C. B._ interjette un recours en matière de droit public contre ce jugement, dont elle demande l'annulation. Sous suite de frais et dépens, elle conclut au renvoi de la cause à la juridiction cantonale "pour nouvel arrêt dans le sens des considérants", à savoir pour complément d'instruction, sous la forme, cas échéant, d'une nouvelle expertise réalisée en présence d'un interprète français/serbo-croate. Elle sollicite par ailleurs l'assistance judiciaire, ce qui lui a été refusé par ordonnance du 18 mai 2012.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte sur le droit de la recourante à une rente d'invalidité. Il suffit d'y renvoyer.
3. Invoquant une appréciation arbitraire des preuves, la recourante reproche aux premiers juges d'avoir suivi les conclusions du rapport du COMAI du 16 mars 2007 "au détriment des autres avis médicaux", alors que l'expertise reposait sur une incompréhension entre les médecins du COMAI et elle-même, en raison de la langue parlée avec l'interprète. Selon elle, la juridiction cantonale a fait preuve d'arbitraire en considérant que rien ne laissait supposer que l'interprète et l'assurée n'avaient pas parlé la même langue ou que la traduction avait été faussée, en se fondant sur les réponses du directeur du COMAI (du 30 novembre 2007), sans analyser les éléments qu'elle avait mis en avant à cet égard. Le Tribunal cantonal vaudois aurait par ailleurs apprécié la fiabilité de la manière dont les propos de la recourante avaient été rapportés aux divers experts avec des différences inexplicables, écartant l'expertise du docteur H._ au motif que son époux avait fait office de traducteur, tandis qu'il avait suivi les conclusions du COMAI sans retenir un motif identique - le traducteur ne parlait pas sa langue - à l'encontre de celles-ci.
4. 4.1 Dans le contexte d'examens médicaux nécessaires pour évaluer de manière fiable l'état de santé de l'assuré et ses répercussions éventuelles sur la capacité de travail, en particulier d'un examen psychiatrique, la meilleure compréhension possible entre l'expert et la personne assurée revêt une importance spécifique. Il n'existe cependant pas de droit inconditionnel à la réalisation d'un examen médical dans la langue maternelle de l'assuré ou à l'assistance d'un interprète. En définitive, il appartient à l'expert, dans le cadre de l'exécution soigneuse de son mandat, de décider si l'examen médical doit être effectué dans la langue maternelle de l'assuré ou avec le concours d'un interprète. Le choix de l'interprète, ainsi que la question de savoir si, le cas échéant, certaines phases de l'instruction médicale doivent être exécutées en son absence pour des raisons objectives et personnelles, relèvent également de la décision de l'expert. Ce qui est décisif dans ce contexte, c'est l'importance de la mesure au regard de la prestation entrant en considération. Il en va ainsi de la pertinence et donc de la valeur probante de l'expertise en tant que fondement de la décision de l'administration, voire du juge. Les constatations de l'expert doivent dès lors être compréhensibles, sa description de la situation médicale doit être claire et ses conclusions motivées (arrêt I 245/00 du 30 décembre 2003, publié in VSI 2004 p. 144 consid. 4; arrêt 8C_913/2010 du 18 avril 2011 consid. 3.3.1 et les arrêts cités).
4.2 Le point de savoir si, au regard des circonstances concrètes du cas d'espèce et des aspects rappelés ci-avant, la compréhension linguistique entre l'expert et la personne assurée est suffisante pour garantir une expertise revêtant un caractère à la fois complet, compréhensible et concluant relève de l'appréciation des preuves et, partant, d'une question de fait que le Tribunal fédéral examine uniquement à l'aune de l'inexactitude manifeste et de la violation du droit au sens de l'art. 95 LTF (consid. 1 supra; consid. 3.3.2 de l'arrêt 8C_913/2008 cité).
A cet égard, l'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
4.3 En l'occurrence, et quoi qu'en dise la recourante, les constatations des premiers juges quant à l'absence d'indice d'une traduction faussée de ses propos par l'interprète ayant assisté les experts du COMAI et à la communication par le biais d'une langue commune entre l'assurée et l'interprète ne sont pas arbitraires.
4.3.1 La recourante a certes fait valoir déjà en procédure administrative, quelques temps après l'examen au COMAI, qu'elle s'était trouvée "très perturbée tout au long des entretiens" d'expertise, parce que l'interprète de langue albanaise avait montré des signes d'agressivité et d'énervement à son égard, en raison de la surprise qu'elle avait manifestée en voyant que ce n'était pas un traducteur serbo-croate (tel qu'elle l'avait requis) qui se chargeait de l'interprétation (courrier du 22 février 2007). Elle s'est toutefois limitée, dans un premier temps, à en informer l'intimé, tout en lui indiquant rester dans l'attente du rapport d'expertise. Ce n'est qu'une fois l'expertise rendue (le 16 mars 2007) que la recourante a soutenu, dans un second temps, n'avoir pas pu répondre librement et exhaustivement aux questions qui lui avaient été posées, parce qu'elle s'était sentie intimidée et menacée par l'interprète (courrier du 3 mai 2007). Une telle manière de procéder apparaît douteuse au regard du principe de la bonne foi en procédure (art. 5 al. 3 Cst), selon lequel la partie qui s'aperçoit qu'une règle de procédure est violée à son détriment ne saurait laisser la procédure suivre son cours sans réagir, dans le but, par exemple, de se réserver un moyen de nullité pour le cas où le jugement à intervenir ne la satisferait pas (ATF 127 II 227 consid. 1b i.f. p. 230; voir aussi ATF 111 V 149 consid. 4c i.f. p. 150).
4.3.2 A la lecture de l'expertise du COMAI, on ne relève par ailleurs aucun indice selon lequel au cours de l'anamnèse, de la réalisation de l'examen clinique ou du status psychique, un aspect déterminant pour constater l'existence d'une atteinte à la santé psychique ou somatique, poser un diagnostic y relatif, ou évaluer la capacité de travail du point de vue médical, aurait été omis en raison d'une incompréhension linguistique entre l'assurée et l'interprète ou des problèmes de traduction. Le docteur O._ a certes évoqué "une incompréhension linguistique" pour expliquer en partie "la mauvaise collaboration de l'assurée", mais il a précisé qu'une telle attitude se manifestait "dans l'espoir de nous convaincre de la réalité de ses plaintes", les symptômes d'une hernie discale L3-L4 étant "noyés dans cet amoncellement de signes de non organicité" et la collaboration de l'assurée étant "discutable" ("manifestations intempestives à la douleur évoquée ou provoquée sous forme de grimaces, soupirs et tentatives d'esquive"). De son côté, indiquant que l'entretien avait lieu en présence d'un interprète professionnel, le docteur C._ a relevé que la recourante entrait en contact avec facilité, captait les questions de l'expert en français assez rapidement et voulait y répondre en français, étant toutefois très vite limitée. Il a encore précisé que l'interprète avait dû à plusieurs reprises insister pour obtenir plus d'informations et de détails, les descriptions restant cependant très globales. Ces précisions quant à l'attitude de l'assurée ou l'intervention de l'interprète ne laissent pas apparaître des problèmes d'ordre linguistique qui auraient empêché les experts d'accomplir dûment leur mandat.
A ce sujet, la recourante affirme en procédure fédérale que le fait qu'elle a dû communiquer en albanais "a forcément donné lieu à des incompréhensions et problèmes de traduction tant il est vrai qu'elle ne manie pas cette langue comme la sienne". Se contentant de cette simple allégation, elle ne cherche toutefois pas à établir, par une argumentation précise se rapportant concrètement aux constatations des experts, en quoi les prétendus problèmes de communication et de traduction auraient été de nature à modifier les observations des docteurs O._ et C._ ou à influencer la qualité et le résultat de leur appréciation. Le grief tiré d'une incompréhension linguistique ne suffit par conséquent pas pour remettre en cause l'appréciation de la juridiction cantonale quant à la valeur probante de l'expertise du COMAI.
4.4 En ce qui concerne ensuite le motif pour lequel la juridiction cantonale a écarté l'expertise du docteur H._, il n'est pas arbitraire, contrairement à ce que soutient la recourante. Les premiers juges ont mis en doute la fiabilité des constatations de l'expert mandaté par la recourante, parce que les propos de celle-ci, qui ne s'était exprimée qu'en serbo-croate, avaient en grande partie été traduits par son mari. Même si le docteur H._ a effectué une expertise sur le plan rhumatologique et ne s'est déterminé qu'en fonction de ses connaissances spécialisées dans le domaine somatique, les doutes exprimés par la juridiction cantonale ne sont pas dénués de fondement, dès lors que l'expert a lui-même fait état d'une réserve quant à la fiabilité de l'anamnèse traduite par le mari de l'assurée. La situation ne saurait être comparée ici, comme le voudrait la recourante, à celle qui prévalait au COMAI, où la traduction a été assurée par un interprète professionnel et non par un membre de la famille de l'assurée, dont l'intervention totalement neutre ne peut être garantie.
Au demeurant, le docteur H._ ne met en évidence aucun élément objectif nouveau qu'auraient ignoré les experts du COMAI et qui expliquerait son appréciation divergente de la capacité résiduelle de travail sur le plan somatique (qu'il évalue à 80 % compte tenu d'une diminution de rendement de 20 %). En particulier, on ne comprend pas pour quelle raison le rhumatologue retient finalement "en [se] basant sur les éléments objectifs (cliniques et radiologiques)" une incapacité de travail en tant que nettoyeuse de 50 % et de 20 % dans une activité adaptée, alors qu'il constate au préalable qu'il y a une "indiscutable discordance entre les constatations cliniques objectives qui sont somme toute modestes, les constatations radiologiques (hernie discale lombaire et discopathies) [étant] banales et sans répercussions neurologiques, [constatations radiologiques qui peuvent d'ailleurs aussi se rencontrer chez des sujets asymptomatiques] [...])". Dans ces conditions, on ne saurait considérer que la juridiction cantonale a fait preuve d'arbitraire en choisissant de suivre les conclusions des médecins du COMAI et non celles du docteur H._, sans qu'on puisse qualifier de "raccourci", comme le fait en vain la recourante, l'appréciation à laquelle ont procédé les premiers juges dans ce contexte.
4.5 Enfin, l'argumentation de la recourante tirée d'une prétendue contradiction dans les conclusions de l'expertise du COMAI tombe à faux. Lorsque les docteurs O._ et C._ concluent à une baisse de rendement allant jusqu'à 20 % sur le plan psychique en raison notamment des "difficultés de mobilisation" (p. 20 de l'expertise), ils tiennent compte de la possibilité, singulièrement de la difficulté, pour l'assurée de mobiliser des ressources psychiques existantes, soit d'un aspect psychique.
5. Il résulte de ce qui précède que le recours est en tout point mal fondé.
6. Vu l'issue de la procédure, la recourante doit supporter les frais judiciaires y afférents (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 septembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless