Faits:
A. A.a S._, née en 1968 et mère de trois enfants, travaillait comme femme de chambre dans un hôtel à Z._ depuis le mois de mai 1999. Mise en arrêt total de travail à partir du mois d'octobre 2001, elle a présenté une demande de prestations de l'assurance-invalidité le 27 novembre 2002. L'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) a recueilli divers avis médicaux, dont ceux de la doctoresse U._, spécialiste FMH en psychiatrie et psychothérapie et psychiatre traitant, et du docteur R._, spécialiste FMH en rhumatologie et en médecines interne, physique et réhabilitation, manuelle et du sport. Par décision du 6 octobre 2005, il a nié le droit de l'assurée à toute prestation.
A la suite de l'opposition de S._, l'office AI a confié une expertise psychiatrique au docteur B._, spécialiste FMH en psychiatrie et psychothérapie, qui a conclu, dans son rapport du 15 mai 2007, à l'absence de limitations fonctionnelles sur le plan strictement psychiatrique. Après avoir requis l'avis de son Service médical régional (SMR), l'office AI a maintenu le refus de toute prestation, par décision sur opposition du 16 juillet 2008.
A.b Cette décision a été annulée sur recours de l'assurée par le Tribunal cantonal des assurances de la République et canton de Genève (aujourd'hui, Cour de justice de la République et canton de Genève, Chambre des assurances sociales), qui a renvoyé la cause à l'administration pour instruction complémentaire au sens des considérants et nouvelle décision (jugement du 22 mai 2009).
En conséquence, l'office AI a mandaté le Centre d'observation médicale de l'assurance-invalidité (COMAI) pour une expertise. Dans leur rapport du 5 mai 2010, les docteurs O._, spécialiste FMH en rhumatologie, et D._, spécialiste FMH en psychiatrie et psychothérapie, ont diagnostiqué des rachialgies communes chroniques sur troubles statiques et dégénératifs de la colonne vertébrale associant spondylolisthésis et hernie discale médiane, une épaule douloureuse gauche sur tendinite chronique de la coiffe, bursite chronique sous acromio-deltoïdienne et conflit sous-acromial, ainsi qu'un trouble spécifique de la personnalité sous forme d'une personnalité paranoïaque partiellement décompensé depuis probablement 2002. Selon les experts, ces atteintes avaient des répercussions sur la capacité de travail; en revanche, les diagnostics également posés de syndrome douloureux chronique des ceintures sans lésion anatomique susceptible de l'expliquer, assimilable à une fibromyalgie, de syndrome douloureux du compartiment antérieur des genoux, d'obésité, de syndrome somatoforme douloureux persistant depuis 2001 et d'épisode dépressif moyen avec syndrome somatique depuis 2001 n'avaient pas d'effet négatif sur la capacité de travail. Les médecins ont encore écarté le diagnostic de syndrome de Sjögren, qui avait été posé antérieurement par le docteur R._, ainsi que celui d'algodystrophie. Ils ont conclu que l'assurée n'était plus en mesure d'exercer son ancienne activité de femme de chambre, mais disposait en revanche d'une capacité de travail de 80 % dans une activité adaptée (légère, en position assise et n'impliquant pas de travaux en hauteur, ni de travail en équipe), sans diminution de rendement.
Fort de ces conclusions, l'office AI a rendu une décision, le 28 juin 2011, par laquelle il a derechef nié le droit de S._ à des prestations de l'assurance-invalidité (rente d'invalidité et mesures professionnelles), motif pris d'un taux d'invalidité (de 19,52 %) insuffisant pour ouvrir un tel droit.
B. S._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en concluant principalement à ce que lui soit reconnu le droit à une rente entière d'invalidité; elle a également produit deux avis de la doctoresse U._ des 28 août et 19 octobre 2011. L'office AI a conclu au rejet du recours, en se référant à deux prises de position du SMR des 20 novembre et 21 décembre 2011. Statuant le 30 août 2012, la Chambre des assurances sociales de la Cour de justice genevoise a débouté l'assurée.
C. Agissant par la voie du recours en matière de droit public, S._ demande au Tribunal fédéral d'annuler ce jugement, en concluant, sous suite de dépens, au renvoi de la cause à la juridiction cantonale pour la mise en oeuvre d'une expertise judiciaire "neutre et indépendante". Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire en ce qui concerne le paiement des frais judiciaires .
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Au vu des conclusions du recours, le litige porte sur le droit de la recourante à une rente de l'assurance-invalidité, singulièrement sur le point de savoir si une expertise médicale judiciaire doit être mise en oeuvre comme le requiert la recourante. A cet égard, le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables en l'espèce; il suffit donc d'y renvoyer.
3. 3.1 Se plaignant tout d'abord d'un déni de justice, la recourante reproche aux premiers juges de n'avoir pas statué sur la question de la valeur probante des rapports du SMR (des 20 novembre et 21 décembre 2011), qui n'avaient pas été signés par leur auteur, identifié seulement par une série de lettres ("Dr X._", respectivement "Y._"). Selon elle, les "rapports médicaux codés" constitueraient une pratique généralisée du SMR, de sorte qu'une réponse aurait dû être apportée sur la manière de prendre en considération ces documents.
3.2 Selon la jurisprudence, une autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 117 Ia 116 consid. 3a p. 117 s.; arrêt du Tribunal fédéral 9C_699/2011 du 21 mai 2012 consid. 5.2).
En l'occurrence, le grief de la recourante tombe à faux. Les premiers juges ont en effet examiné l'argumentation de la recourante relative à l'absence de valeur probante des rapports du SMR, en considérant pouvoir laisser la question ouverte, puisqu'ils écartaient de toute façon les avis en cause (considérants 11 et 12 du jugement entrepris) au profit de l'expertise du COMAI. La juridiction cantonale n'a par conséquent pas fait l'impasse sur un grief de la recourante, même si elle n'y a pas apporté la réponse voulue par celle-ci. Le motif retenu par les premiers juges pour ce faire n'est par ailleurs pas arbitraire, contrairement à ce qu'allègue la recourante. Dès lors que la décision de l'autorité cantonale de recours n'était en tout état de cause pas fondée sur les appréciations du SMR, la question de la valeur probante des rapports produits en instance cantonale n'était pas pertinente, quoi qu'en dise la recourante. Quant à la portée générale de ladite question, telle qu'invoquée par l'assurée, elle ne justifie pas - dût-elle être avérée - qu'il y soit apporté une réponse, puisque les circonstances concrètes de la cause ne l'imposent pas.
On précisera toutefois que lorsque les médecins du SMR - dont les examens médicaux sur la personne assurée ne sont pas soumis aux exigences de l'art. 44 LPGA sur la communication préalable du nom de l'expert (ATF 135 V 254) - se prononcent sur le dossier médical de l'intéressé, celui-ci peut avoir un intérêt digne de protection à connaître a posteriori le nom et les qualifications professionnelles du médecin ayant rédigé l'avis en question. Lorsque ces données ne ressortent pas de la prise de position du SMR, l'administration est tenue d'informer l'assuré à ce sujet, du moins lorsqu'il en fait la demande (arrêts I 362/06 du 10 avril 2007 consid. 3.2.1 et I 211/06 du 22 février 2007 consid. 5.4.1 [SVR 2008 IV n° 13 p. 37]). En l'espèce, interpellé à ce sujet par la juridiction cantonale, l'office AI a indiqué l'identité des auteurs respectifs de l'avis du 20 novembre 2011 (le docteur V._) et du 21 décembre 2011 (la doctoresse M._; courrier du 21 mars 2012). L'autorité judiciaire de première instance a ensuite donné l'occasion à la recourante de présenter des observations sur ces avis (courrier du 27 mars 2012), de sorte que son droit d'être entendue a été pleinement respecté.
4. La juridiction cantonale a constaté que l'assurée disposait d'une capacité de travail de 80 % dans une activité adaptée aux limitations fonctionnelles décrites par les médecins et confirmé le degré d'invalidité fixé par l'intimé en fonction d'une telle capacité de travail. Elle s'est fondée pour cela sur l'expertise des docteurs O._ et D._ du 5 mai 2010, dont elle a suivi les conclusions. Elle a en revanche écarté l'appréciation de la doctoresse U._, en considérant que la psychiatre traitant avait donné une appréciation différente, plus favorable à sa patiente, que celle des experts, sans apporter pour autant d'éléments objectifs de nature à remettre en cause leur évaluation.
5. La recourante invoque une constatation manifestement inexacte des faits et une appréciation arbitraire des preuves. Elle fait grief à la juridiction cantonale d'avoir retenu que la doctoresse U._ n'avait pas posé "de diagnostic qui irait au-delà de ceux retenus par les experts" du COMAI, que le trouble dépressif dont elle souffrait était indissociable du trouble somatoforme douloureux et qu'elle ne souffrait pas d'un syndrome de Sjögren.
5.1 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conséquences insoutenable (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
5.2 L'argument que la recourante entend tout d'abord tirer de la divergence des diagnostics posés par les experts, d'une part, et sa psychiatre traitant, d'autre part, ne lui est d'aucun secours. On ne saurait en effet considérer que la doctoresse U._ a mis en évidence des éléments objectivement vérifiables, de nature clinique ou diagnostique, qui auraient été ignorés par les experts du COMAI, lorsqu'elle a diagnostiqué un épisode dépressif sévère, et non un épisode dépressif moyen comme les docteurs O._ et D._. Ceux-ci ont fait état des symptômes énumérés par la psychiatre traitant dans son avis du 28 août 2011 (entre autres éléments, diminution de la concentration et idées suicidaires), mais ont donné une appréciation différente de la gravité de l'épisode dépressif présenté par l'intéressée. Cette appréciation apparaît compatible avec la définition de l'épisode dépressif (F.32) prévue par la Classification statistique internationale des maladies et des problèmes connexes (10ème édition; CIM-10), selon laquelle le nombre et la sévérité des symptômes (énumérés) permettent de déterminer trois degrés de sévérité d'un épisode dépressif (léger, moyen et sévère), sans que le degré de sévérité résulte cependant d'une addition schématique des symptômes comme semble le suggérer la doctoresse U._ ("si on somme tous les symptômes concernant un état dépressif relevés par [la doctoresse D._], tant dans l'anamnèse que dans le status, on arrive au diagnostic d'épisode dépressif sévère et non pas moyen selon le CIM 10").
Par ailleurs, les experts ont indiqué "la présence d'un trouble mixte de la personnalité", en expliquant que l'assurée présentait d'une part une personnalité paranoïaque et d'autre part des traits de personnalité émotionnellement labile de type impulsif (expertise p. 17). Même s'ils ont évoqué le caractère "mixte" du trouble, ils ont posé à ce titre le diagnostic de "trouble spécifique de la personnalité sous forme d'une personnalité paranoïaque partiellement décompensé depuis probablement 2002 (CIM-10 F60.0)", ayant une répercussion sur la capacité de travail de l'assurée. Contrairement à ce que prétend la recourante, les experts n'ont par conséquent pas retenu "un trouble mixte de la personnalité" (correspondant à la classification F61 du CIM-10), mais un trouble spécifique de la personnalité, sans qu'on puisse y voir une omission de leur part.
De même, les experts n'ont pas oublié de prendre en compte les symptômes psychotiques ou d'angoisses dans les diagnostics. Ils ont fait état de certains symptômes tels que décrits par l'assurée, mais n'ont pas estimé que ceux-ci avaient, dans la mesure où ils ne faisaient pas déjà partie des éléments propres aux diagnostics retenus, valeur de pathologie dans la situation donnée. En ce qui concerne ensuite la divergence dans la qualification de l'état psychique de l'assurée - "cristallisé" pour la doctoresse U._, "manifestement pas cristallisé" selon les docteurs O._ et D._ -, elle ne suffit pas à elle seule à remettre en cause les conclusions de l'expertise; elle relève d'une appréciation médicale différente en fonction des mêmes symptômes retenus, sans qu'un élément objectif eût été ignoré par les experts.
5.3 C'est en vain que la recourante soutient ensuite que le trouble dépressif dont elle souffrait est apparu antérieurement au trouble somatoforme douloureux, dès lors qu'elle ne peut rien tirer en sa faveur de cet argument. Il ressort en effet de l'expertise du COMAI - et il convient ici de rectifier la constatation des premiers juges à ce sujet - que les docteurs O._ et D._ ont admis que l'épisode dépressif moyen constituait une comorbidité du trouble somatoforme douloureux, à l'instar du trouble de la personnalité paranoïaque partiellement décompensé. C'est donc en prenant en considération ces trois atteintes psychiques distinctes que les experts ont évalué la capacité de travail de la recourante sur le plan psychique et conclu à une réduction de celle-ci de 20 %.
5.4 En tant que la recourante s'en prend encore aux constatations des experts sur l'absence de syndrome de Sjögren, son argumentation est mal fondée. Contrairement à ce qu'elle affirme, loin de se "born[er] à évoquer une définition de cette maladie sans en préciser la source", ni procéder à des investigations supplémentaires, les experts ont expliqué de façon convaincante pour quelles raisons ils ne retenaient pas un tel diagnostic, en fonction du résultat des examens effectués le 13 novembre 2009, en particulier le résultat négatif relatif à certains antigènes (expertise p. 12 et 16).
5.5 Il résulte de ce qui précède que la juridiction cantonale n'a pas fait preuve d'arbitraire en suivant les conclusions de l'expertise du COMAI pour constater que la recourante présentait une capacité de travail de 80 % dans une activité adaptée. Une nouvelle expertise telle que requise par la recourante n'est par conséquent pas nécessaire.
6. Pour le reste, la recourante critique le fait que la juridiction cantonale n'a pas précisé quelles activités étaient à sa portée compte tenu de ses importantes limitations avant de procéder à la comparaison des revenus déterminants pour évaluer l'invalidité.
On peut certes regretter que l'administration n'ait mentionné aucune activité exigible au cours de l'instruction. Cette omission ne permet toutefois pas de retenir que les premiers juges auraient apprécié les faits de façon arbitraire ou violé le droit fédéral. Vu le large éventail d'activités simples et répétitives (qui correspondent à un emploi léger respectant les limitations fonctionnelles observées) que recouvre le marché du travail en général - et le marché du travail équilibré en particulier - (arrêt I 383/06 du 5 avril 2007 consid. 4.4), on doit admettre qu'un nombre significatif d'entre elles, ne nécessitant aucune formation spécifique, sont adaptées aux problèmes physiques et psychiques de la recourante (pas de travail avec les membres supérieurs au-dessus de l'horizontale, ni en porte-à-faux du tronc, pas de port de charge de plus de 15 kg et pas de travail en équipe nécessitant une bonne collaboration).
7. En conséquence, le recours se révèle mal fondé et doit être rejeté.
8. Vu l'issue de la procédure, les frais y afférents seront supportés par la recourante, qui ne peut prétendre des dépens (art. 66 al. 1 et 68 al. 1 LTF). Elle a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires. Dès lors qu'elle en remplit les conditions (art. 64 al. 1 LTF), sa requête est acceptée. La recourante est toutefois rendue attentive au fait qu'elle devra rembourser la caisse du Tribunal, si elle retrouve ultérieurement une situation financière lui permettant de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée à la recourante.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 4 mars 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless