Faits:
A. A.a Souffrant notamment de gonalgies droites chroniques persistantes limitant à 50 % sa capacité de travail dans une activité adaptée, R._ a été mise au bénéfice d'une demi-rente d'invalidité (pour cas pénible), fondée sur un taux d'invalidité de 47 % dès le 1er mars 2005 (décision de l'Office de l'assurance-invalidité pour le canton de Vaud [ci-après: office AI] du 11 février 2005). Cette prestation a été remplacée à partir du 1er avril 2005 par un quart de rente, fondé sur le même degré d'invalidité (décision du 30 mars 2005 confirmée par décision sur opposition du 23 novembre 2006). Le 17 mai 2005, l'office AI a par ailleurs alloué à R._ un quart de rente d'invalidité du 1er août 2002 au 31 mars 2005.
Saisi d'un recours de l'assurée contre la décision du 23 novembre 2006, le Tribunal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales) l'a rejeté le 17 mars 2008.
A.b A l'occasion d'une procédure de révision initiée en février 2008 au cours de laquelle l'assurée a invoqué une aggravation de son état de santé depuis 2007, l'office AI l'a soumise à un examen auprès du docteur H._, spécialiste FMH en neurologie. Dans son rapport du 9 juin 2009, le médecin a diagnostiqué une gonarthrose interne droite débutante sur status après méniscectomie arthroscopique itérative en 2001, compliquée d'une arthrofibrose ayant nécessité une libération arthroscopique en 2003, des troubles dissociatifs (de conversion) mixtes du membre inférieur droit, un état dépressif probable, ainsi que des cervicalgies et lombalgies chroniques dans le cadre de troubles statiques et dégénératifs, un syndrome somatoforme douloureux n'étant pas exclu. Selon lui, d'un point de vue somatique, en particulier neurologique, la situation était inchangée (par rapport à celle prévalant en 2003 et 2006), la capacité de travail et les limitations fonctionnelles étant les mêmes qu'à l'époque; ces limitations avaient cependant subi une péjoration probable au plan psychique et mental, et devaient être réévaluées.
Compte tenu de ces conclusions, l'office AI a confié une expertise psychiatrique de l'assurée au Centre d'observation médicale de l'assurance-invalidité de X._ (COMAI), où le docteur M._, spécialiste FMH en psychiatrie et psychothérapie, a diagnostiqué un trouble somatoforme (F45) et un épisode dépressif léger avec syndrome somatique (F32.01), qui n'entraînaient aucune diminution de la capacité de travail de l'assurée (rapport du 8 janvier 2010). L'administration a également recueilli l'avis de son Service médical régional AI (SMR), ensuite de quoi l'assurée lui a fait parvenir un protocole opératoire du docteur F._, spécialiste FMH en neurochirurgie (du 5 mars 2010), et un rapport de son médecin traitant, le docteur T._, spécialiste FMH en neurologie (du 18 mai 2010). Le 25 mai 2010, l'office AI a rendu une décision par laquelle il a maintenu le droit à un quart de rente fondé sur un degré d'invalidité de 47 %, en niant l'existence d'une aggravation de l'état de santé de l'intéressée.
B. Statuant le 24 février 2012 sur le recours formé par R._ contre cette décision, la Cour des assurances sociales du Tribunal cantonal vaudois l'a rejeté.
C. R._ interjette un recours en matière de droit public contre ce jugement, dont elle demande, sous suite de dépens, principalement la réforme en ce sens que lui soit reconnu le droit à une rente de l'assurance-invalidité fondée sur un taux d'invalidité "qui n'est pas inférieur à 70 %, depuis le 1er février 2008 au plus tard". A titre subsidiaire, elle conclut à l'annulation du jugement cantonal et au renvoi de la cause à la juridiction cantonale, subsidiairement à l'office AI, pour complément d'instruction et nouvelle décision dans le sens des considérants. Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF) et peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
2. Le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables au litige, qui porte sur la modification, par la voie de la révision au sens de l'art. 17 LPGA, du quart de rente alloué initialement à la recourante. Il suffit d'y renvoyer.
3. 3.1 Invoquant une appréciation arbitraire des preuves, la recourante reproche aux premiers juges d'avoir suivi les conclusions des docteurs H._ et M._, alors que son état de santé n'avait fait l'objet d'aucune évaluation pluridisciplinaire, que le docteur H._ ne s'était prononcé sur l'absence de changement de sa situation que du point de vue neurologique, que l'évaluation psychiatrique n'était pas claire et nécessitait un complément, et que l'analyse de la juridiction cantonale du caractère invalidant du trouble somatoforme douloureux dont elle souffre était insuffisante. Selon la recourante, dès lors que sa situation médicale n'était pas claire et méritait une instruction "plus poussée", une expertise pluridisciplinaire aurait dû être ordonnée par l'autorité cantonale de recours qui ne pouvait pas, à défaut, se prononcer valablement.
3.2 Selon le principe inquisitoire qui régit la procédure dans le domaine des assurances sociales (art. 43 al. 1 et 61 let. c LPGA), le juge constate les faits d'office, avec la collaboration des parties et administre les preuves nécessaires. Le juge peut toutefois considérer qu'un fait est prouvé et renoncer à de plus amples mesures d'instruction lorsqu'au terme d'un examen objectif, il ne conçoit plus de doutes sérieux sur l'existence de ce fait (cf. ATF 130 III 321 consid. 3.2 p. 324; SVR 2007 IV no 31 p. 111 [I 455/06], consid. 4.1). Si de tels doutes subsistent, il lui appartient de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération. Le cas échéant, il peut renoncer à l'administration d'une preuve s'il acquiert la conviction, au terme d'une appréciation anticipée des preuves, qu'une telle mesure ne pourrait l'amener à modifier son opinion (ATF 130 II 425 consid. 2.1 p. 429; 125 I 127 consid. 6c/cc in fine p. 135).
Par ailleurs, l'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62 et les arrêts cités). L'appréciation des preuves doit être arbitraire non seulement en ce qui concerne les motifs évoqués par la juridiction cantonale pour écarter un moyen de preuve, mais également dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.).
4. Avec son argumentation, la recourante ne parvient pas à établir le caractère arbitraire de l'appréciation (anticipée) des preuves à laquelle a procédé la juridiction cantonale. A l'issue d'un examen des pièces médicales du dossier, celle-ci a fait siennes les conclusions des docteurs H._ et M._ et constaté que l'état de santé de l'assurée n'avait pas subi de modification significative, respectivement d'aggravation, depuis les décisions rendues au printemps 2005 par lesquelles un quart de rente d'invalidité lui avait été alloué, de sorte qu'il n'y avait pas lieu à révision selon l'art. 17 LPGA.
4.1 Quoi qu'en dise la recourante, on ne saurait tout d'abord considérer que sa situation n'a pas fait l'objet d'une évaluation médicale globale, parce que les docteurs H._ et M._ l'ont examinée séparément, à trois mois d'intervalle, et sans effectuer un consilium pluridisciplinaire.
Dans son expertise du 9 juin 2009, selon laquelle sur le plan organique les troubles et les limitations y relatives, ainsi que la capacité résiduelle de travail de l'assurée étaient inchangés, le docteur H._ a préconisé une nouvelle évaluation des limitations fonctionnelles au plan psychique et mental, en raison d'une probable péjoration de celles-ci. En conséquence (cf. avis du SMR du 9 juillet 2009), le docteur M._ a été chargé d'examiner la situation de la recourante sous l'angle psychiatrique. Comme l'ont déjà relevé les premiers juges (jugement entrepris consid. 4b p. 19), le psychiatre a rendu ses conclusions (selon lesquelles l'assurée disposait d'une capacité de travail de 100 % sur le plan psychique et mental) en se référant expressément aux constatations des médecins qui s'étaient prononcés sur l'état de santé sous l'angle somatique, en particulier à celles du docteur H._.
En soi, le fait que les experts mandatés par l'administration ont rendu leurs conclusions séparément l'un de l'autre et sans se concerter en une prise de position commune ne diminue en rien la pertinence de leurs évaluations respectives. De manière optimale, lors d'une expertise pluridisciplinaire, la capacité de travail devrait faire l'objet d'une appréciation globale de synthèse fondée sur un consilium entre les experts, dans lequel les résultats obtenus dans chacune des disciplines sont discutés (MEYER-BLASER, Der Rechtsbegriff der Arbeitsunfähigkeit und seine Bedeutung in der Sozialversicherung, namentlich für den Einkommensvergleich in der Invaliditätsbemessung, in: Schmerz und Arbeitsunfähigkeit, 2003, p. 89; voir aussi JACQUES MEINE, L'expert et l'expertise - critères de validité de l'expertise médicale, in L'expertise médicale, De la décision à propos de quelques diagnostics difficiles, 2002, p. 23). Une telle discussion interdisciplinaire de synthèse ne constitue toutefois pas une condition nécessaire pour la valeur probante de chacun des rapports médicaux particuliers, dans la mesure où les appréciations respectives - effectuées dans les règles de l'art et ne comportant pas en soi de contradictions - sont compatibles les unes avec les autres (arrêt I 105/04 du 23 août 2004 consid. 2.2). Tel est le cas en l'espèce puisque les docteurs H._ et M._ ont l'un et l'autre pris en considération la situation de l'assurée dans son ensemble, même s'ils se sont dûment exprimés chacun dans leur domaine de spécialisation, en fonction de leur mission respective, et que leurs constatations sont compatibles les unes avec les autres.
4.2 C'est en vain que la recourante soutient ensuite que les diagnostics posés par le docteur H._, ou du moins les limitations en résultant, auraient dû être évalués par un spécialiste en orthopédie ou en rhumatologie. Elle perd de vue que sa demande de révision était fondée sur une "aggravation sur le plan neurologique", respectivement une "atteinte neurologique probablement irrécupérable" dont a fait état son médecin traitant le 19 août 2008, de sorte que l'intimé s'est adressé à un spécialiste en neurologie pour évaluer la situation (cf. avis du SMR du 17 février 2009). Par ailleurs, contrairement à ce que prétend la recourante, le docteur H._ s'est prononcé sur l'état de santé sur le plan somatique dans son ensemble, ce qu'il était précisément invité à faire, et non pas uniquement sous l'angle neurologique ("pour sa discipline"). Il a ainsi conclu, en fonction des pièces au dossier, de l'examen de l'assurée et du résultat de l'électromyogramme que "les limitations sur le plan neurologique et somatique sont les mêmes, ainsi que la capacité de travail" et que "d'un point de vue somatique, en particulier neurologique, la situation est inchangée". On ne saurait donc considérer que l'expert n'a pas tenu compte de l'ensemble des pathologies présentées par la recourante sur le plan somatique pour en évaluer les répercussions sur sa capacité de travail, le docteur H._ faisant état d'une "sous-évaluation" des limitations fonctionnelles sous l'angle psychique et mental uniquement. Dans ces conditions, et en l'absence d'indice d'une aggravation des troubles du rachis invoqués par la recourante, une évaluation rhumatologique ne s'imposait pas, alors que l'intimé a dûment complété son instruction en mettant en oeuvre une expertise psychiatrique.
4.3 En ce qui concerne les critiques de la recourante à l'égard de l'appréciation de son état de santé sous l'angle psychique, elles ne sont pas non plus pertinentes. Quoi qu'elle en dise, l'évaluation du docteur M._ sur les troubles psychiques dont elle souffre est claire. Le psychiatre s'est expressément prononcé sur le diagnostic de trouble de conversion évoqué par le docteur H._ lorsqu'il a fait état d'une origine psychogène (soit une cause purement psychique) certaine de la plégie de l'ensemble de la musculature jambière du membre inférieur droit associée à une disparition de toutes les modalités sensitives. Il a indiqué que si l'on pouvait parler de trouble de conversion au début de l'apparition des troubles sensitivomoteurs en 2001, la situation avait changé parce que d'autres éléments étaient apparus (plaintes physiques que les substrats organiques modérés ne suffisaient pas à expliquer, angoisses et conviction d'une origine organique de la problématique) et avait évolué vers un trouble somatoforme depuis 2003 probablement. Le psychiatre a par ailleurs exclu la présence d'une comorbidité psychiatrique grave associée au trouble somatoforme douloureux, l'épisode dépressif léger avec syndrome somatique ne pouvant être considéré comme tel.
Enfin, contrairement à ce qu'affirme la recourante, les premiers juges ont examiné la présence de critères posés par la jurisprudence relative à l'appréciation du caractère invalidant de troubles somatoformes douloureux (ATF 130 V 352). Ils ont repris à leur compte les observations du docteur M._ et constaté l'absence de comorbidité psychiatrique grave, d'état psychique cristallisé et de perte d'intégration sociale (dans toutes les manifestations de la vie), ces critères n'étant pas remis en cause par la recourante.
5. Il résulte de ce qui précède que faute de doutes sur la pertinence des conclusions des docteurs H._ et M._, la juridiction cantonale pouvait, sans tomber dans l'arbitraire, s'en tenir à leur évaluation et renoncer à ordonner une expertise pluridisciplinaire, en considérant comme établie l'absence de modification de l'état de santé de l'assurée. Les principes posés par le Tribunal fédéral dans l'ATF 137 V 210, invoqué par la recourante, en matière de respect d'une procédure administrative et de recours équitable ne conduisent pas, au demeurant, à un autre résultat.
Par conséquent, la conclusion subsidiaire du recours est mal fondée. Quant à la conclusion principale tendant à l'octroi d'une rente entière ("fondée sur un taux d'invalidité qui n'est pas inférieur à 70 %"), elle n'est pas motivée, la recourante ne présentant aucune argumentation à ce sujet. Le recours doit partant être rejeté.
6. Les frais de justice sont à la charge de la recourante, qui ne peut prétendre de dépens (art. 66 al. 1 et 68 al. 1 LTF). Il convient toutefois d'accepter sa demande d'assistance judiciaire, dès lors qu'elle a établi son indigence, que le recours n'était pas d'emblée dénué de chances de succès et que l'assistance d'un avocat était indiquée (cf. art. 64 al. 1 et 2 LTF). La recourante est rendue attentive au fait qu'elle devra rembourser la caisse du tribunal si elle se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée à la recourante.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Maître Anne-Sylvie Dupont est désignée en tant qu'avocate d'office de la recourante et une indemnité de 2'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 août 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless