Faits: A. P._ (née en 1955) travaillait comme enseignante au service du canton de Vaud. Le 2 septembre 2003, elle a présenté une demande de prestations de l'assurance-invalidité. Après avoir recueilli divers avis médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a mandaté le docteur G._, spécialiste FMH en rhumatologie et en médecine interne pour une expertise rhumatologique (rapport du 19 avril 2005), ainsi que le docteur L._, spécialiste FMH en psychiatrie et psychothérapie, pour un examen psychiatrique (rapport du 29 juillet 2005). Par décision du 28 avril 2006, l'office AI a nié le droit de l'intéressée à une rente, motif pris que le degré d'invalidité (de 15%) était insuffisant pour fonder une telle prestation. P._ s'étant opposée à cette décision, l'office AI a confié une expertise au Centre d'observation médicale de l'assurance-invalidité (COMAI) Y._. Dans leur rapport du 22 mai 2008, les docteurs S._, spécialiste FMH en rhumatologie, R._, spécialiste FMH en psychiatrie et psychothérapie, C._, spécialiste FMH en médecine interne et H._, spécialiste FMH en neurologie, ont fait état, à titre de diagnostics ayant une répercussion sur la capacité de travail, de céphalées actuellement mixtes, vasomotrices, tensionnelles et médicamenteuses (présentes depuis l'âge de 18 ans mais en aggravation significative depuis 1999/2000), de lombosciatalgies gauches résiduelles après cure de hernie discale (juin 1990) en relation probable avec des douleurs de déafférentation, une fibrose postopératoire et une périarthropathie de hanche. Ils ont conclu que l'assurée disposait d'une capacité de travail entière sur le plan psychiatrique, alors qu'elle subissait une perte de rendement de 30% dans son activité d'enseignante (sous forme, du point de vue neurologique, d'absentéisme dû aux céphalées mixtes, et, du point de vue rhumatologique, de limitations dues aux lombosciatalgies gauches résiduelles [à raison de 15%]). Fort de ces conclusions, l'office AI a rejeté l'opposition de l'assurée et maintenu le refus de rente, compte tenu d'un degré d'invalidité de 30% au maximum (décision sur opposition du 12 août 2008). B. L'assurée a déféré cette décision au Tribunal cantonal des assurances du canton de Vaud (aujourd'hui, Tribunal cantonal du canton de Vaud, Cour des assurances sociales). Entre autres conclusions, elle a requis la suspension de la cause jusqu'à droit connu sur une expertise à effectuer dans le cadre d'une procédure pendante auprès du tribunal dans le domaine de la prévoyance professionnelle, ce que celui-ci a refusé par ordonnance du 19 janvier 2009. Par jugement du 23 février 2010 (dont la rédaction a été approuvée le 16 avril 2010), le Tribunal cantonal a débouté l'assurée. C. Le 19 mai 2010, P._ a interjeté un recours en matière de droit public contre ce jugement. Concluant sous suite de frais et dépens à son annulation, elle demande à titre principal le renvoi de la cause au Tribunal cantonal vaudois pour complément d'instruction et nouveau jugement; subsidiairement, elle conclut à la réforme du jugement cantonal, en ce sens que l'office AI soit tenu de lui verser une rente entière d'invalidité à partir du 1er août 2003, avec intérêts à 5% l'an dès le 1er janvier 2005. Elle requiert également la suspension de la procédure jusqu'à droit connu sur la demande de révision adressée au Tribunal cantonal vaudois, ce qui a été accepté par ordonnance du 12 juillet 2010. D. Par acte du 19 mai 2010, P._ a présenté au Tribunal cantonal vaudois une demande de révision de son jugement du 23 février 2010, en produisant un rapport de l'Hôpital Z._ du 16 mars 2010 (qui lui a été communiqué le 5 mai 2010), selon lequel elle disposait d'une capacité de travail résiduelle ne dépassant pas 20%. Le 6 octobre 2011, la juridiction cantonale a rejeté la demande de révision (ch. I du dispositif). E. Le 9 décembre 2011, P._ a également interjeté un recours en matière de droit public contre le jugement cantonal du 6 octobre 2011. Sous suite de frais et dépens, elle conclut principalement à son annulation et à l'admission de la demande de révision; à titre subsidiaire, elle conclut à la réforme du jugement cantonal, en ce sens que l'office AI soit tenu de lui verser une rente entière d'invalidité à partir du 1er août 2003, avec intérêts à 5% l'an dès le 1er janvier 2005. Elle demande la jonction de cette cause avec la première procédure et la reprise d'instance. F. Invités à se prononcer sur le premier recours, l'office AI a conclu implicitement à son rejet, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. P._ a réitéré sa demande de jonction des causes.