Faits:
A. P._ (née en 1955) travaillait comme enseignante au service du canton de Vaud. Le 2 septembre 2003, elle a présenté une demande de prestations de l'assurance-invalidité. Après avoir recueilli divers avis médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a mandaté le docteur G._, spécialiste FMH en rhumatologie et en médecine interne pour une expertise rhumatologique (rapport du 19 avril 2005), ainsi que le docteur L._, spécialiste FMH en psychiatrie et psychothérapie, pour un examen psychiatrique (rapport du 29 juillet 2005). Par décision du 28 avril 2006, l'office AI a nié le droit de l'intéressée à une rente, motif pris que le degré d'invalidité (de 15%) était insuffisant pour fonder une telle prestation.
P._ s'étant opposée à cette décision, l'office AI a confié une expertise au Centre d'observation médicale de l'assurance-invalidité (COMAI) Y._. Dans leur rapport du 22 mai 2008, les docteurs S._, spécialiste FMH en rhumatologie, R._, spécialiste FMH en psychiatrie et psychothérapie, C._, spécialiste FMH en médecine interne et H._, spécialiste FMH en neurologie, ont fait état, à titre de diagnostics ayant une répercussion sur la capacité de travail, de céphalées actuellement mixtes, vasomotrices, tensionnelles et médicamenteuses (présentes depuis l'âge de 18 ans mais en aggravation significative depuis 1999/2000), de lombosciatalgies gauches résiduelles après cure de hernie discale (juin 1990) en relation probable avec des douleurs de déafférentation, une fibrose postopératoire et une périarthropathie de hanche. Ils ont conclu que l'assurée disposait d'une capacité de travail entière sur le plan psychiatrique, alors qu'elle subissait une perte de rendement de 30% dans son activité d'enseignante (sous forme, du point de vue neurologique, d'absentéisme dû aux céphalées mixtes, et, du point de vue rhumatologique, de limitations dues aux lombosciatalgies gauches résiduelles [à raison de 15%]). Fort de ces conclusions, l'office AI a rejeté l'opposition de l'assurée et maintenu le refus de rente, compte tenu d'un degré d'invalidité de 30% au maximum (décision sur opposition du 12 août 2008).
B. L'assurée a déféré cette décision au Tribunal cantonal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales). Entre autres conclusions, elle a requis la suspension de la cause jusqu'à droit connu sur une expertise à effectuer dans le cadre d'une procédure pendante auprès du tribunal dans le domaine de la prévoyance professionnelle, ce que celui-ci a refusé par ordonnance du 19 janvier 2009. Par jugement du 23 février 2010 (dont la rédaction a été approuvée le 16 avril 2010), le Tribunal cantonal a débouté l'assurée.
C. Le 19 mai 2010, P._ a interjeté un recours en matière de droit public contre ce jugement. Concluant sous suite de frais et dépens à son annulation, elle demande à titre principal le renvoi de la cause au Tribunal cantonal vaudois pour complément d'instruction et nouveau jugement; subsidiairement, elle conclut à la réforme du jugement cantonal, en ce sens que l'office AI soit tenu de lui verser une rente entière d'invalidité à partir du 1er août 2003, avec intérêts à 5% l'an dès le 1er janvier 2005. Elle requiert également la suspension de la procédure jusqu'à droit connu sur la demande de révision adressée au Tribunal cantonal vaudois, ce qui a été accepté par ordonnance du 12 juillet 2010.
D. Par acte du 19 mai 2010, P._ a présenté au Tribunal cantonal vaudois une demande de révision de son jugement du 23 février 2010, en produisant un rapport de l'Hôpital Z._ du 16 mars 2010 (qui lui a été communiqué le 5 mai 2010), selon lequel elle disposait d'une capacité de travail résiduelle ne dépassant pas 20%. Le 6 octobre 2011, la juridiction cantonale a rejeté la demande de révision (ch. I du dispositif).
E. Le 9 décembre 2011, P._ a également interjeté un recours en matière de droit public contre le jugement cantonal du 6 octobre 2011. Sous suite de frais et dépens, elle conclut principalement à son annulation et à l'admission de la demande de révision; à titre subsidiaire, elle conclut à la réforme du jugement cantonal, en ce sens que l'office AI soit tenu de lui verser une rente entière d'invalidité à partir du 1er août 2003, avec intérêts à 5% l'an dès le 1er janvier 2005. Elle demande la jonction de cette cause avec la première procédure et la reprise d'instance.
F. Invités à se prononcer sur le premier recours, l'office AI a conclu implicitement à son rejet, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. P._ a réitéré sa demande de jonction des causes.
Considérant en droit:
1. 1.1 La recourante soumet au Tribunal fédéral d'une part le jugement cantonal du 23 février 2010 et, d'autre part, le prononcé cantonal du 6 octobre 2011 sur la demande de révision du premier jugement. Les griefs soulevés par la recourante ont trait au droit à une rente de l'assurance-invalidité et les deux recours concernent les mêmes parties. Il se justifie dès lors de joindre les causes et de statuer par un seul arrêt.
1.2 La juridiction cantonale s'étant prononcée le 6 octobre 2011 sur la demande de révision de son jugement du 23 février 2010, la suspension de la procédure ordonnée par le Tribunal fédéral le 12 juillet 2011 n'a plus d'objet.
2. 2.1 Dans son jugement du 6 octobre 2011, la juridiction cantonale a constaté que son arrêt du 23 février 2010 était entré en force. Admettant que le rapport médical de l'Hôpital Z._ du 16 mars 2010 constituait un moyen de preuve nouveau au sens des art. 61 let. i LPGA et 100 de la loi cantonale vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RS VD 173.36), elle a retenu que cette expertise ne fournissait aucun élément de fait nouveau dont il aurait résulté que le jugement du 23 février 2010 aurait comporté des défauts objectifs. Il s'agissait bien plutôt d'une appréciation médicale différente sur la capacité de travail de la requérante, effectuée sur la base d'un nouvel examen de faits déjà connus des premiers juges au moment de l'arrêt principal. Les conditions d'une révision n'étaient dès lors pas réunies et la demande de révision devait être rejetée.
2.2 De jurisprudence constante, la révision d'un jugement cantonal au sens de l'art. 61 let. i LPGA - qui détermine les exigences minimales de droit fédéral auxquelles doit satisfaire la procédure cantonale en révision dans le domaine des assurances sociales - suppose, en tant que moyen de droit extraordinaire, que l'arrêt dont la révision est demandée soit entré en force (consid. 3b non publié de l'ATF 111 V 51 relatif à l'art. 85 al. 2 let. h aLAVS auquel correspond l'art. 61 let. i LPGA [arrêt I 183/04 du 28 avril 2005 consid. 2.1, in REAS 2005 p. 242]). Par ailleurs, aux termes de l'art. 100 al. 1 LPA-VD, selon lequel "une décision sur recours ou un jugement rendus en application de la présente loi et entrés en force peuvent être annulés ou modifiés, sur requête," si les conditions prévues aux let. a et b sont réalisées, la révision doit être dirigée contre une décision cantonale entrée en force.
En l'espèce, contrairement à ce qu'a constaté la juridiction cantonale de manière manifestement inexacte (cf. art. 105 al. 2 LTF), au moment où elle a statué sur la demande de révision de son jugement du 23 février 2010, celui-ci n'était pas entré en force. En parallèle à sa requête en révision du 19 mai 2010, l'assurée a en effet déféré ce jugement au Tribunal fédéral, ce dont la juridiction cantonale a été informée par ordonnance du 21 mai 2010 (cf. aussi l'ordonnance du 12 juillet 2010). Par conséquent, dès lors qu'une voie ordinaire de recours contre le jugement cantonal était ouverte et a été utilisée par l'assurée, la demande en révision de ce jugement n'était pas admissible et la juridiction cantonale n'était pas en droit, tant au regard de l'art. 61 let. i LPGA que de l'art. 100 al. 1 LPA-VD, d'entrer en matière sur cette requête. Le ch. I du dispositif du jugement en révision du 6 octobre 2011 doit donc être réformé en ce sens que la demande de révision est irrecevable, sans que soient admises les conclusions formulées par l'assurée dans son second recours.
3. 3.1 Au regard du recours formé contre le jugement du 23 février 2010, le litige porte sur le droit de la recourante à une rente d'invalidité à partir du 1er août 2003. Le jugement entrepris expose de manière complète les règles légales applicables, de sorte qu'on peut y renvoyer.
3.2 Sous l'angle des normes pertinentes en matière de preuve dans la procédure fédérale, on ajoutera que le résultat de l'appréciation des preuves en général et, en particulier, les constatations de la juridiction cantonale relatives à l'atteinte à la santé et l'évaluation de la capacité de travail (résiduelle) fondées sur l'appréciation de rapports médicaux et expertises sont en principe des questions de fait (ATF 132 V 393 consid. 3.2 p. 397); ils ne peuvent donc être examinés par le Tribunal fédéral qu'aux conditions de l'art. 105 al. 2 LTF. En revanche, l'application du principe inquisitoire et des règles sur l'appréciation des preuves au sens de l'art. 61 let. c LPGA relève du droit (ATF 132 V 393 consid. 3.2 et 4 p. 397 ss) et peut de ce fait être librement contrôlée par le Tribunal fédéral.
4. La recourante s'en prend tout d'abord au refus des premiers juges de suspendre la procédure jusqu'à ce qu'ait été rendue l'expertise médicale dans la cause instruite en parallèle par le même juge instructeur relative aux prétentions de la prévoyance professionnelle.
4.1 La décision (du 19 janvier 2009) par laquelle la juridiction cantonale a rejeté la requête de suspension constitue une décision incidente au sens de l'art. 93 LTF, que la recourante est en droit de faire contrôler à l'occasion du recours contre la décision finale, à condition qu'elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF; cf. aussi BERNARD CORBOZ, in Commentaire de la LTF, 2009, n. 12 et 14 ad art. 93 LTF et la référence à l'arrêt ATF 123 III 414 consid. 1 p. 417).
4.2 Le refus de suspendre la procédure a eu pour effet que le Tribunal cantonal s'est prononcé par un arrêt final le 23 février 2010 en se fondant sur un dossier qui ne comprenait pas la preuve annoncée par l'assurée. Il s'ensuit que la décision incidente pouvait influer sur le contenu du jugement entrepris (FELIX UHLMANN, in Basler Kommentar BGG, 2008, n. 12 ad art. 93 LTF et note de bas de page 38) et que les moyens présentés à cet égard dans le cadre du recours contre cet arrêt sont recevables en vertu de l'art. 93 al. 3 LTF. La recourante ne prend certes pas de conclusions formelles contre la décision incidente et demande uniquement l'annulation de l'arrêt final. La motivation du recours porte cependant aussi sur le refus de suspension, de sorte qu'on peut considérer que la décision incidente a également été attaquée conformément aux exigences déduites de l'art. 42 al. 1 et 2 LTF (LAURENT MERZ, in Basler Kommentar BGG, 2008, n. 18 ad art. 42 LTF).
5. 5.1 Invoquant une violation des art. 61 let. c LPGA, 29 Cst. et 8 CC, la recourante reproche aux premiers juges d'avoir refusé de suspendre la procédure dans l'attente de l'expertise ordonnée par le juge instructeur (cf. ordonnance du 26 août 2008) dans le cadre de l'instruction de la cause l'opposant à la Caisse de pensions de l'Etat de Vaud (ci-après: la caisse de pensions), à laquelle était affilié son employeur. Sachant qu'une expertise était en cours dans la procédure en matière de prévoyance professionnelle sur une problématique identique à celle de l'assurance-invalidité (le taux d'incapacité de travail dans une activité adaptée), ils auraient dû en attendre le résultat et prendre en compte que la caisse de pensions avait déjà reconnu un taux d'invalidité définitif de 57,1429%, avant d'admettre, en se fondant sur le rapport de l'Hôpital Z._ une invalidité de 100% (cf. courrier du 5 mai 2010 de la caisse de pensions à l'assurée). La recourante se plaint également de ce qu'ils ont refusé de mettre en oeuvre une expertise médicale, alors que les conclusions du rapport du COMAI entraient en contradiction avec celles du docteur L._ et de ses médecins traitants et étaient dénuées de valeur probante.
5.2 En vertu de l'art. 61 let. c LPGA, le tribunal cantonal des assurances doit établir les faits déterminants pour la solution du litige, avec la collaboration des parties. Il administre les preuves nécessaires et les apprécie librement. Cette disposition, qui exprime le principe inquisitoire, impose au juge de constater d'office les faits pertinents de la cause, après avoir administré les preuves nécessaires (cf. ATF 125 V 193 consid. 2 p. 195). Toutefois, le tribunal peut considérer qu'un fait est prouvé et renoncer à de plus amples mesures d'instruction lorsqu'au terme d'un examen objectif, il ne conçoit plus de doutes sérieux sur l'existence de ce fait (cf. ATF 130 III 321 consid. 3.2, p. 324; SVR 2007 IV n° 31 p. 111 [I 455/06], consid. 4.1). Si de tels doutes subsistent, il lui appartient de compléter l'instruction de la cause, pour autant que l'on puisse attendre un résultat probant des mesures d'instruction entrant raisonnablement en considération. Le cas échéant, il peut renoncer à l'administration d'une preuve s'il acquiert la conviction, au terme d'une appréciation anticipée des preuves, qu'une telle mesure ne pourrait l'amener à modifier son opinion (ATF 130 II 425 consid. 2.1 p. 429; 125 I 127 consid. 6c/cc in fine p. 135). Saisi d'un recours en matière de droit public, le Tribunal fédéral ne peut, en principe, revoir le résultat de l'appréciation anticipée des preuves - et en conclure à une violation de la maxime inquisitoire - , qu'en cas d'inexactitude manifeste (art. 97 al. 1 et 105 al. 1 et 2 LTF; cf. également MEYER in : M. A. Niggli, P. Uebersax, H. Wiprächtiger [édit.], Bundesgerichtsgesetz, Bâle 2008, n. 34a, 60 et note 170 ad art. 105).
Le principe inquisitoire est complété par les droits des parties tirés du droit d'être entendu garanti par l'art. 29 al. 2 Cst. En particulier, la jurisprudence a déduit de cette garantie constitutionnelle, le droit pour le justiciable de participer à la procédure probatoire en exigeant l'administration des preuves déterminantes ou en en proposant lui-même. Le juge peut cependant clore la procédure probatoire et refuser une mesure probatoire parce qu'il considère qu'elle est inapte à apporter la preuve ou lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire, il a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 130 II 425 consid. 2.1 p. 428; 125 I 127 consid. 6c/cc in fine p. 135).
5.3 Contrairement à ce qu'a retenu la juridiction cantonale dans l'ordonnance du 19 janvier 2009, la procédure dans le domaine de la prévoyance professionnelle présentait un lien de connexité matérielle et temporelle avec le rapport de droit litigieux sous l'angle du droit de l'assurance-invalidité, de sorte que le moyen de preuve mis en oeuvre sous la forme d'une expertise pluridisciplinaire pouvait influencer son appréciation dans la procédure en matière d'assurance-invalidité (dont l'instruction avait du reste été confiée au même juge instructeur). La caisse de pensions applique certes une définition à première vue plus large (incapacité durable "de remplir tout ou partie de sa fonction ou d'une autre fonction de substitution"; cf. art. 54 de la loi cantonale vaudoise du 18 juin 1984 sur la Caisse de pensions de l'Etat de Vaud [LCP; RS VD 172.43]) de l'invalidité que celle prévue à l'art. 8 LPGA (en relation avec les art. 7 et 16 LPGA), celle-ci restant pertinente pour la prévoyance obligatoire (cf. art. 23 ss LPP). Il s'agissait cependant dans les deux procédures de déterminer, pour une période temporelle se recoupant partiellement, les atteintes à la santé dont souffrait la recourante et la mesure dans laquelle celles-ci limitaient, le cas échéant, l'exercice de sa profession d'enseignante, ainsi que l'exigibilité d'une autre activité lucrative ("autre fonction de substitution"). Cette connexité était d'autant plus étroite que selon les constatations de la juridiction cantonale (dans son arrêt final entrepris), la profession d'enseignante constituait une activité adaptée aux limitations fonctionnelles de l'assurée, si bien que l'appréciation de "l'incapacité durable de remplir tout ou partie de sa fonction" était pertinente pour se prononcer sur les deux contestations. Dès lors, l'expertise mise en oeuvre pour déterminer cette incapacité en matière de prévoyance professionnelle était apte à apporter la preuve sur des aspects identiques du litige dans le domaine de l'assurance-invalidité.
Dans ces circonstances, la renonciation à attendre le résultat de l'investigation pluridisciplinaire ordonnée, qui a porté sur les mêmes faits que ceux à la base du litige sur le droit à la rente d'invalidité - les experts de l'Hôpital Z._ ayant apparemment eu à disposition les rapports médicaux du dossier de l'assurance-invalidité -, constitue une violation du principe inquisitoire. On ne voit en effet pas comment la juridiction cantonale pouvait avoir la certitude, sans verser dans l'arbitraire, que la mesure probatoire ne pouvait pas l'amener à influencer, voire à modifier son appréciation de la capacité de travail de la recourante dans la seconde procédure en cours.
5.4 Il suit de ce qui précède que le jugement entrepris doit être annulé et la cause renvoyée au Tribunal cantonal vaudois pour qu'il en reprenne l'instruction et se prononce à nouveau en incluant dans son appréciation l'expertise de l'Hôpital Z._ du 16 mars 2010. La conclusion principale de la recourante est dès lors bien fondée.
6. Compte tenu de l'issue de la procédure, les frais de justice seront mis à la charge de l'intimé, de même que l'indemnité de dépens à laquelle a droit la recourante (art. 66 al. 1 et 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 9C_439/2010 et 9C_926/2011 sont jointes.
2. Le recours formé contre le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 6 octobre 2011 est rejeté.
3. Le ch. I du dispositif du jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 6 octobre 2011 est réformé en ce sens que la demande de révision est irrecevable.
4. Le recours formé contre le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 23 février 2010 est admis. Ce jugement est annulé et la cause renvoyée à la juridiction de première instance pour qu'elle procède conformément aux considérants et rende un nouveau jugement.
5. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
6. L'intimé versera à la recourante la somme de 2800 fr. à titre de dépens pour la dernière instance.
7. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 27 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless