Faits:
A. A.a M._, mère de trois enfants, a travaillé comme maman de jour depuis 1994, puis dès le 1er juin 2002 en qualité d'employée de la cafétéria auprès de l'Hôpital X._. A partir du 1er décembre 2005, elle a également exercé l'activité de concierge non professionnelle à raison de cinq heures par semaine, puis de deux heures par jour depuis le 1er août 2006.
Le 29 décembre 2001, M._ a été victime d'une chute qui a entraîné une fracture bimalléolaire de la cheville gauche, traitée par réduction sanglante et ostéosynthèse avec greffe. Depuis lors, elle a été mise en arrêt de travail à plusieurs reprises pour une durée déterminée, puis indéterminée à partir du 13 octobre 2006. Les suites de l'événement ont été prises en charge par l'assureur-accidents, la Winterthur Assurances (devenu Axa Winterthur). Le 9 janvier 2008, M._ a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli les pièces médicales du dossier de l'assureur-accidents, dont ceux du docteur R._, médecin chef du département de l'appareil locomoteur du Centre hospitalier Y._, qui a attesté une capacité de travail de 50 % dans un poste adapté (principalement sédentaire) dès le 15 avril 2009 (rapport du 12 mars 2009). L'administration a également requis les avis du docteur B._, médecin traitant, et des médecins de la Clinique Z._, que l'assurée consultait régulièrement depuis mai 2007 (rapport du 14 mai 2009).
Après avoir sollicité l'avis de son Service médical régional (SMR), l'office AI a, par décision du 10 janvier 2011, alloué à l'assurée un quart de rente d'invalidité, fondé sur un degré d'invalidité de 49 %, à partir du 1er février 2011. Le 7 mars 2011, il a rendu une décision, par laquelle il a mis M._ au bénéfice d'une rente entière d'invalidité du 1er octobre 2007 au 31 juillet 2009, puis d'un quart de rente à partir du 1er août 2009 (soit trois mois après une amélioration constatée le 15 avril 2009, correspondant à la reconnaissance d'une capacité de travail de 50 % dans une activité adaptée) jusqu'au 31 janvier 2011.
A.b Entre-temps, le 2 février 2011, les docteurs A._ et D._, respectivement chef de clinique et médecin assistant de Z._, ont indiqué à l'office AI qu'ils avaient réalisé un examen psychologique de l'intéressée (rapport du 15 décembre 2010) et concluaient à une structure de personnalité psychotique ainsi qu'à un niveau d'intelligence limite. Considérant le courrier des médecins comme une demande d'augmentation de la rente d'invalidité, l'office AI a informé M._, par projet de décision du 3 mars 2011, qu'il comptait rejeter sa demande, au motif que son état de santé ne s'était pas aggravé. Par courrier du 9 avril 2011, la prénommée a contesté le refus d'une rente supérieure à un quart et indiqué que l'Hôpital X._ avait mis fin aux rapports de travail avec effet au 31 mai 2011. Le 12 avril 2011, l'office AI a refusé toute augmentation de la rente d'invalidité.
B. M._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui a confié une expertise psychiatrique au docteur U._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 20 décembre 2011, celui-ci a diagnostiqué un trouble anxieux et dépressif mixte et un trouble mixte de la personnalité, mais n'a pas retenu d'incapacité de travail. Les parties se sont prononcées sur les conclusions de l'expertise, que le docteur U._ a complétée le 17 février 2012. Statuant le 21 septembre 2012, la Cour des assurances sociales a rejeté le recours, dans la mesure où il était recevable (ch. I du dispositif), et confirmé la décision du 12 avril 2011 (ch. II du dispositif).
C. Agissant par la voie du recours en matière de droit public, M._ demande au Tribunal fédéral d'annuler le jugement cantonal et la décision du 12 avril 2011, puis de renvoyer la cause à l'office AI "pour entrée en matière sur la demande de révision procédurale du 2 février 2010 (recte 2011), expertise pluridisciplinaire, et nouvelle décision au sens des considérants". Elle sollicite par ailleurs le bénéfice de l'assistance judiciaire.
Considérant en droit:
1. Saisi d'un recours en matière de droit public, le Tribunal fédéral statue sur la base des faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 LTF). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF).
2. La recourante reproche tout d'abord aux premiers juges d'avoir refusé d'examiner son cas sous l'angle de la révision procédurale au sens de l'art. 53 al. 1 LPGA. Elle soutient que l'avis des docteurs A._ et D._ du 2 février 2011, qui faisait état des conclusions d'un rapport du 15 décembre 2010, correspondait à des faits nouveaux ou à des nouveaux moyens de preuve sur lesquels tant l'intimé que la juridiction cantonale auraient dû entrer en matière.
2.1 L'argumentation de la recourante méconnaît la notion de révision procédurale, qui permet à l'administration de révoquer une décision entrée en force lorsque sont découverts des faits nouveaux importants ou des nouveaux moyens de preuve subséquemment à ladite décision. La révision procédurale suppose donc que la décision dont la révision est demandée soit entrée en force. Or, au moment où l'office AI a reçu l'avis des médecins de Z._ du 2 février 2011 (indexé au dossier AI le 7 février 2011), la décision du 10 janvier 2011, qui portait sur le droit de la recourante à un quart de rente à partir du 1er février 2011, n'était pas entrée en force, puisque le délai de recours de trente jours n'était pas échu. Par ailleurs, ni la décision du 7 mars 2011, ni celle du 12 avril suivant n'avaient encore été rendues, de sorte que la recourante invoque en vain le bien-fondé d'une révision procédurale dans ce contexte.
2.2 Cela étant, on constate à la lecture du dossier (cf. art. 105 al. 2 LTF) que l'intimé a considéré l'avis médical du 2 février 2011 comme une demande de révision de rente (au sens de l'art. 17 LPGA) en le soumettant au SMR (cf. mandat SMR du 8 février 2011), sans prendre en considération le fait qu'une voie de recours était ouverte contre sa décision du 10 janvier 2011. Par la suite, le 7 mars 2011, l'office AI a rendu sa deuxième décision concernant le droit de la recourante à une rente entière d'octobre 2007 à juillet 2009, puis à un quart de rente d'août 2009 à janvier 2011. La recourante a alors manifesté son désaccord "avec ce 1/4 de rente dans un proche avenir" et requis des explications en demandant "pourquoi une rente de 100 % pendant 2 ans et brusquement 1/4?", dans un courrier daté du 9 avril 2011, soit à un moment où le délai de recours contre la deuxième décision n'était selon toute vraisemblance pas arrivé à échéance. S'ajoute à cela que la recourante avait entre-temps reçu le projet de décision du 3 mars 2011 et avait apparemment été informée, lors d'un entretien téléphonique avec un collaborateur de l'intimée, antérieur au 9 avril 2011, "que pour faire une objection [elle devait lui] écrire au plus tard pour le 12 avril 2011", sans que son attention eût été attirée sur la possibilité de contester la décision du 7 mars 2011 dans le délai de recours, alors que la situation pouvait prêter à confusion.
Dans ces circonstances, au lieu de se prononcer sur la "demande d'augmentation de la rente d'invalidité", l'intimé aurait dû considérer le courrier de l'assurée (voire celui de ses médecins) manifestant son désaccord avec la réduction de la rente entière comme un recours et le transmettre à la juridiction cantonale comme objet de sa compétence. Sa décision du 12 avril 2011 était dès lors sans objet: la recourante avait contesté l'octroi d'un quart de rente à la place d'une rente entière, de sorte que la réduction du droit aux prestations ne pouvait à ce stade être considérée comme tranchée de manière définitive.
2.3 Le jugement entrepris est par conséquent conforme en droit dans la mesure où l'examen des premiers juges n'a pas porté sur la révision procédurale des décisions des 11 janvier (recte 10) et 7 mars 2011 comme le voulait la recourante. L'objet du litige en instance cantonale n'aurait toutefois pas dû être limité au point de savoir si l'invalidité s'était modifiée de façon à influencer le droit à la prestation pendant la période entre les décisions des 10 janvier et 7 mars 2011 et la décision litigieuse du 12 avril 2011, mais aurait dû porter sur le bien-fondé de la réduction de la rente entière allouée à la recourante à un quart de rente à partir du 1er août 2009 (telle que prononcée le 7 mars 2011).
Dès lors que le Tribunal fédéral est en mesure de constater les faits déterminants pour la solution du litige et de les apprécier (art. 105 al. 2 LTF), il n'y a pas lieu d'annuler le jugement entrepris et de renvoyer la cause à la juridiction cantonale pour nouvelle décision, l'arrêt entrepris étant conforme au droit dans son résultat, comme il ressort de ce qui suit. C'est le lieu de préciser que la décision par laquelle l'assurance-invalidité accorde une rente d'invalidité avec effet rétroactif et, en même temps, prévoit la réduction ou l'augmentation de cette rente, correspond à une décision de révision au sens de l'art. 17 LPGA, dont le jugement entrepris expose la teneur, ainsi que la jurisprudence y relative, de sorte qu'il suffit d'y renvoyer.
3. 3.1 Dans un rapport du 12 mars 2009, le docteur R._ a indiqué que les suites de l'arthrose post-traumatique de la cheville gauche étaient satisfaisantes, la consolidation étant acquise, et qu'il n'y avait pas d'anomalie osseuse latérale; la patiente était apte, selon lui, à reprendre une activité à 50 % dans un poste adapté (principalement sédentaire) dès le 15 avril 2009. Dans une appréciation ultérieure (du 8 octobre 2010), le médecin a maintenu ses conclusions relatives à la cheville (la situation était stabilisée avec une arthrodèse consolidée) et précisé que la patiente pouvait théoriquement retravailler à 100 % dans une activité sédentaire en ce qui concerne uniquement la cheville gauche. Il a cependant ajouté que l'état global de l'assurée ("polypathologie bien cernée par les rapports de la Dresse E._") l'empêchait de reprendre toute activité et qu'une expertise pluridisciplinaire était nécessaire.
De son côté, la doctoresse E._, médecin associée au Département de l'appareil locomoteur de Y._, a indiqué que la problématique ostéo-articulaire présentée par l'assurée évoluait dans un contexte de vie difficile (divorce, maladie de l'enfant cadet, licenciement de la conciergerie). L'examen clinique du rachis n'amenait aucun élément pathologique particulier et l'arthrodèse semblait solide, mais sur le plan psychologique la patiente était extrêmement fragile et était épuisée (rapport du 14 avril 2009).
L'office AI a alors complété son instruction en requérant l'avis des médecins que l'assurée avait consultés auprès de Z._. Dans un rapport du 14 mai 2009, les docteurs J._ et P._ ont fait état de troubles de l'adaptation avec réaction mixte anxieuse et dépressive et d'une personnalité émotionnellement labile, type borderline; elles n'indiquaient aucune restriction mentale ou psychique en ce qui concerne l'activité lucrative, en précisant que les restrictions physiques étaient au premier plan. Par la suite, le 7 janvier 2010, les médecins de Z._ ont mentionné une légère amélioration de l'état psychique de la recourante, la patiente présentant une humeur très labile, mais une thymie neutre.
3.2 Il ressort de ces constatations médicales que même si la recourante souffrait de douleurs liées à son atteinte à la cheville gauche et présentait une thymie fluctuante, on pouvait exiger d'elle qu'elle mît à profit une capacité résiduelle de travail de 50 % dans une activité adaptée à partir du 15 avril 2009 (date retenue par le docteur R._).
Quoi qu'en dise la recourante, les rapports médicaux ultérieurs des docteurs A._ et D._ ne mettent pas en évidence une aggravation de son état de santé qui remettrait en cause l'exigibilité d'une capacité de travail résiduelle de 50 % jusqu'au prononcé des décisions des 10 janvier et 7 mars 2011. Selon les conclusions du rapport d'examen psychologique du 15 décembre 2010 et l'avis des docteurs A._ et D._ du 2 février 2011, l'assurée est incapable de faire face à ses angoisses. Une telle appréciation ne porte pas sur la capacité de travail de la recourante et ne permet donc aucune déduction y relative. Le rapport subséquent du 29 juin 2011 n'apporte par ailleurs pas de précision convaincante à ce sujet, dès lors que les docteurs D._ et A._ indiquent que les problèmes psychiques de l'assurée sont, de leur avis, de nature à entraver sa capacité de travail, tout en précisant que celle-ci est difficile à évaluer puisque leur patiente ne travaille pas. L'évaluation des médecins de Z._ est, de plus, infirmée par l'expertise mise en oeuvre par la juridiction cantonale pour compléter l'instruction menée en procédure administrative.
A cet égard, comme l'ont retenu de manière convaincante les premiers juges, dans son rapport du 20 décembre 2011 complété le 17 février 2012, le docteur U._ a expliqué de façon détaillée les raisons pour lesquelles il ne pouvait retenir le diagnostic de psychose non organique posé par les médecins de Z._, ni suivre leurs conclusions quant à une limitation de la capacité de travail de l'assurée liée aux troubles psychiques diagnostiqués. Contrairement à ce que prétend par ailleurs la recourante, le seul fait que les docteurs A._ et T._ ont relevé (dans un avis du 23 janvier 2012) qu'ils ne pouvaient suivre les conclusions de leur confrère, même si la description psycho-pathologique effectuée par celui-ci leur paraissait étayée et concordante avec leurs propres observations, ne suffit pas à justifier la mise en oeuvre d'une nouvelle expertise (pluridisciplinaire). Ces médecins ne mettent en effet pas en évidence des éléments cliniques ou diagnostiques qui auraient été ignorés par l'expert judiciaire et jetteraient un doute sur son appréciation. Le docteur U._ précise en outre de façon claire et étayée, dans son complément du 17 février 2012, pourquoi les troubles diagnostiqués n'entraînent pas une incapacité de travail de l'assurée, vu l'absence, entre autres éléments, du critère de gravité, ainsi que de souffrance ou de dysfonctionnements significatifs. Il convient dès lors, à l'instar de la juridiction cantonale, de suivre les conclusions de l'expert judiciaire - compte tenu également de la valeur probante accordée par la jurisprudence à une expertise judiciaire (ATF 125 V 351 consid. 3b/aa p. 352 et les références) -, et de nier les répercussions des troubles psychiques de la recourante sur sa capacité de travail.
Il s'ensuit qu'à l'inverse de ce que prétend la recourante, les faits déterminants pour la solution du litige ont pu être établis au regard des documents médicaux au dossier, sans que la mise en oeuvre d'une expertise pluridisciplinaire se révèle nécessaire. Le moyen tiré d'une instruction insuffisante est donc mal fondé.
4. La recourante se réfère encore à la décision sur opposition rendue le 29 août 2011 par l'assureur-accidents, selon laquelle elle présente un taux d'invalidité de 52 %. Elle soutient que les premiers juges auraient dû en tenir compte en vertu de l'uniformité de la notion d'invalidité dans le domaine de l'assurance-accidents et de l'assurance-invalidité.
La recourante ne peut toutefois rien déduire en sa faveur de la décision de l'assureur-accidents. Sans examiner en détail ce prononcé, qui ne constitue pas l'objet du litige, on constate que l'assureur-accidents a déterminé le degré d'invalidité en fonction de la jurisprudence relative au parallélisme des revenus à comparer (ATF 134 V 322; 135 V 297). L'application des principes dégagés par la jurisprudence à ce sujet suppose que le revenu (sans invalidité) effectivement réalisé par l'assuré soit nettement inférieur à la moyenne, c'est-à-dire inférieur d'au moins 5 % au salaire statistique usuel dans la branche (ATF 135 V 297 consid. 6.1.2 p. 302). En l'occurrence, l'assureur-accidents a comparé le revenu sans invalidité (de 46'035 fr. en 2009) avec le salaire statistique correspondant au salaire brut dans le secteur privé réalisé par les femmes toutes branches économiques confondues (4'116 fr., "Total" selon l'Enquête suisse sur la structure des salaires 2008, publiée par l'Office fédéral des statistiques, tableau TA1), au lieu de se référer à la branche économique dans laquelle avait travaillé l'assurée avant la survenance de l'atteinte à la santé. Le salaire statistique auquel il convenait de comparer le revenu de l'assurée correspond à celui réalisé par les femmes dans le domaine de l'hôtellerie et la restauration - la recourante était employée de la cafétéria d'un hôpital -, à savoir 3'647 fr. par mois en 2008 (tableau TA1, ch. 55), soit, en tenant compte de l'horaire usuel de 41,6 heures en 2009 et de l'évolution des salaires nominaux de 2008 à 2009 (de 2,1 %; cf. La Vie économique, 12/2011, p. 98 s.), à 46'470 fr. par an. Ce salaire ne dépasse que très légèrement celui qu'aurait réalisé l'assurée - la différence étant bien inférieure à 5 % - sans atteinte à la santé en 2009, de sorte qu'il n'y avait pas lieu d'opérer un parallélisme des revenus à comparer. Le calcul de l'assureur-accidents ne peut dès lors être suivi.
5. Il résulte de ce qui précède que l'intimé était en droit d'admettre une amélioration de l'état de santé de la recourante dès la mi-avril 2009 et de retenir, en fonction des répercussions économiques de la capacité de travail résiduelle de 50 % dans une activité adaptée, un taux d'invalidité (de 49 %) suffisant pour le maintien d'un quart de rente à partir du 1er août 2009. Le recours se révèle par conséquent mal fondé et doit être rejeté. Le ch. 2 du dispositif du jugement entrepris doit cependant être réformé, puisque la décision de l'intimé du 12 avril 2011 ne peut être maintenue (consid. 2.2 supra).
6. Vu l'issue de la procédure, la recourante doit en principe supporter les frais judiciaires y afférents (art. 66 al. 1 LTF). Elle a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires. Les conditions d'octroi étant réalisées (art. 64 al. 1 et 2 LTF), celle-ci lui est accordée. Elle est toutefois rendue attentive au fait qu'elle devra rembourser la caisse du Tribunal, si elle retrouve ultérieurement une situation financière lui permettant de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Le ch. II du dispositif du jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 21 septembre 2012 est réformé en ce sens que la décision rendue le 12 avril 2011 par l'Office de l'assurance-invalidité pour le canton de Vaud est annulée.
3. L'assistance judiciaire est accordée à la recourante. Elle est provisoirement dispensée de payer les frais judiciaires.
4. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 avril 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Kernen
La Greffière: Moser-Szeless