Faits:
A. A.a N._, née en 1973, a travaillé jusqu'au 15 février 1998 en tant qu'employée de commerce dans le domaine des assurances. Souffrant d'une anorexie mentale chronique, elle a déposé, le 6 août 1999, une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Par décision du 23 juillet 2001, l'office AI lui a reconnu le droit à une rente entière d'invalidité à partir du 1er février 1999, fondée sur un degré d'invalidité de 100%. Ce droit a été confirmé dans les procédures subséquentes de révision (communications des 24 février 2003 et 13 mars 2006).
A.b Le 22 novembre 2007, l'assurée a annoncé à l'office AI qu'elle avait été engagée en août 2007 par W._ en tant que professeure de rythmique remplaçante, à un taux de 44%, pour une durée déterminée et pour un salaire annuel de 23'417 fr. 55, ainsi que par X._, en septembre 2007, pour un salaire mensuel brut de 917 fr. 45 (recte: 976 fr. 50). Le 14 février 2008, N._ a informé l'office AI que sa situation professionnelle s'était modifiée: elle avait obtenu un nouveau contrat de remplacement auprès de W._ à un taux de 20%, tandis que son activité auprès de X._ demeurait inchangée. L'office AI a alors pris des renseignements économiques, dont il ressortait que le salaire annuel de l'intéressée s'élevait désormais à 25'869 fr. (rapport d'enquête économique pour les salariés du 18 mars 2008). L'assurée a également été soumise à un examen clinique psychiatrique effectué par le docteur A._, spécialiste FMH en psychiatrie à la Y._, qui a conclu à une capacité de travail de 40% à partir de janvier 2008 (rapport du 2 octobre 2008).
Le 7 juillet 2009, N._ a avisé l'office AI qu'après avoir augmenté son activité à 40%, elle avait souffert d'une grande fatigue, entraînant une perte de poids et un état grippal quasi permanent. De ce fait, elle avait cessé son engagement dans les classes enfantines et augmenté au taux de 21,875% son activité auprès de Z._, débutée en septembre 2008.
Par projet de décision du 21 juillet 2009, l'office AI a communiqué à l'assurée son intention de réduire sa rente entière d'invalidité à un trois-quarts de rente compte tenu d'une capacité de travail exigible de 40% et d'un taux d'invalidité de 63%. Par décision du 9 mars 2010, l'administration a réduit le droit de l'assurée à un trois-quarts de rente d'invalidité avec effet au 1er mai 2010.
B. L'assurée a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant principalement au maintien de sa rente entière d'invalidité au-delà du 1er mai 2010. Procédant à une nouvelle comparaison des revenus, le Tribunal cantonal a accédé aux conclusions de l'assurée sur la base d'un taux d'invalidité de 76,6% et annulé la décision du 9 mars 2010 (jugement du 13 mars 2012).
C. L'office AI interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant à la confirmation de sa décision du 9 mars 2010. Il sollicite également l'octroi de l'effet suspensif à son recours.
N._ s'oppose à la requête d'effet suspensif et conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Compte tenu des motifs et conclusions du recours, le litige porte sur le droit de l'intimée au maintien de sa rente entière d'invalidité au-delà du 1er mai 2010, telle qu'accordée par la juridiction cantonale, en lieu et place du trois-quarts de rente que lui a alloué le recourant dès cette date, singulièrement sur l'application de l'art. 31 LAI au cas particulier.
Selon le premier alinéa de cette disposition, dans sa teneur en vigueur au 1er janvier 2008, si un assuré ayant droit à une rente perçoit un nouveau revenu ou que son revenu existant augmente, sa rente n'est révisée, conformément à l'art. 17 al. 1 LPGA, que si l'amélioration du revenu dépasse 1'500 fr. par an. Le second alinéa (dans sa teneur en vigueur du 1er janvier 2008 au 31 décembre 2011) prévoit que seuls les deux tiers du montant dépassant le seuil de 1'500 fr. sont pris en compte lors de la révision de la rente.
3. Examinant les pièces médicales, la juridiction cantonale a constaté que l'intimée disposait d'une capacité de travail de 40% depuis janvier 2008, son état de santé s'étant stabilisé. L'autorité cantonale de recours a retenu que c'était la reprise d'une activité lucrative par l'intimée en 2007 qui constituait le motif de révision au sens de l'art. 17 al. 1 LPGA du droit de celle-ci à une rente entière d'invalidité. Elle a relevé que l'intimée avait toujours perçu depuis lors un revenu annuel de plus de 20'000 fr., même après la diminution de son taux d'occupation à 40% à partir de janvier 2008. L'amélioration du revenu de l'assurée étant supérieure à 1'500 fr. par an, il convenait, selon la juridiction cantonale, d'évaluer le degré d'invalidité en fonction des principes posés à l'art. 31 LAI, compte tenu de la situation telle qu'elle se présentait en 2008, au moment où la capacité de travail s'était durablement améliorée. Au titre de revenu d'invalide, les premiers juges ont repris le montant de 27'449 fr. retenu par l'office AI, qu'ils ont soumis aux déductions de l'art. 31 LAI pour parvenir à un revenu avec invalidité de 17'299 fr. 33 ([27'449 fr. - 1500 fr.] x 2/3). En comparant ce terme au revenu sans invalidité de 74'000 fr., fixé par l'office AI et non contesté par l'intimée, ils sont arrivés à une perte de gain de 56'700 fr. 67, correspondant à un taux d'invalidité de 76,6%, lequel ouvrait le droit à une rente entière d'invalidité.
4. Le recourant reproche à la juridiction cantonale d'avoir violé le droit fédéral en appliquant l'art. 31 LAI, en vigueur depuis le 1er janvier 2008, alors que l'intimée avait repris une activité professionnelle dès août 2007. Selon lui, dès lors qu'au moment de l'entrée en vigueur de la nouvelle disposition l'intimée réalisait déjà un revenu, on ne pouvait dire qu'elle percevait un nouveau revenu ou que son revenu existant avait augmenté en 2008. Le recourant soutient ainsi que l'état de fait s'est réalisé sous l'empire de l'ancien droit, de sorte que la juridiction cantonale n'aurait pas dû apprécier la légalité de la décision attaquée d'après l'état de fait existant au moment où la décision litigieuse a été rendue, mais selon le droit en vigueur jusqu'au 31 décembre 2007.
5. 5.1 Du point de vue temporel, le droit applicable est déterminé par les règles en vigueur au moment où les faits juridiquement déterminants se sont produits, étant précisé que le juge n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieurs à la date déterminante de la décision litigieuse (ATF 136 V 24 consid. 4.3 p. 27, 130 V 445 consid. 1.2.1 p. 446; 129 V 1 consid. 1.2 p. 4 et les arrêts cités).
5.2 Selon les constatations de la juridiction cantonale, qui ne sont pas contestées par les parties et qui lient le Tribunal fédéral (supra consid. 1), les faits déterminants se présentent comme suit: l'intimée a repris dans le courant de l'année 2007 l'exercice de deux activités professionnelles en tant que professeure de rythmique, la première auprès de W._ en août 2007, et la seconde auprès de X._ en septembre 2007, pour lesquelles elle a perçu une rémunération sur la base d'un salaire annuel brut de 36'112 fr. 55 (23'417 fr. 55 + 12'695 fr.). En 2008, l'intimée a continué l'exercice de ces deux activités, en réduisant la première activité au taux de 20%. Son salaire annuel s'est alors élevé à 25'869 fr (13'173,77 + 12'695). Dès septembre 2008, l'intimée a réalisé un salaire de 22'302 fr., correspondant à un taux d'occupation de 32,5%, réparti entre son activité de remplaçante dans W._ qu'elle exerçait toujours à 20% (cf. contrat de travail du 7 juillet 2008 prévu pour une durée déterminée du 1er août 2008 au 31 juillet 2009) et un nouvel engagement auprès de Z._ pour un taux de 12,5%. En juillet 2009, l'intimée a informé l'office AI qu'après avoir augmenté son degré d'activité à 40%, elle avait dû le baisser à 21,875%.
5.3 Selon la jurisprudence du Tribunal fédéral, en application du principe de droit intertemporel rappelé ci-avant (supra consid. 5.1), lorsque la première hypothèse visée par l'art. 31 LAI (dans sa teneur en vigueur à partir du 1er janvier 2008), à savoir la perception d'un nouveau revenu, s'est entièrement réalisée avant l'entrée en vigueur de la disposition en question, celle-ci ne s'applique pas (cf. arrêt 9C_833/2009 du 4 février 2010 consid. 3.3, in RSAS 2010 p. 382).
Dans le cas d'espèce, au 31 décembre 2007, l'intimée avait déjà repris depuis plus de trois mois l'exercice de deux activités, commencées en août, respectivement septembre 2007, et pour lesquelles elle a perçu un revenu annuel de 36'112 fr. 55. Le premier contrat de travail auprès de W._ était certes prévu pour une durée limitée du 27 août 2007 au 21 décembre 2007. Il a toutefois été suivi d'un second contrat de travail, conclu également pour une durée déterminée, soit du 7 janvier 2008 au 31 juillet 2008, lequel a débouché sur un troisième engagement (du 1er août 2008 au 31 juillet 2009). L'activité de l'intéressée auprès de X._ s'est, quant à elle, poursuivie au-delà du 1er janvier 2008. Par conséquent, dès lors que l'intimée avait perçu un nouveau revenu depuis plus de trois mois avant l'entrée en vigueur de l'art. 31 LAI - sans interruption notable et sans qu'une complication prochaine soit à craindre (cf. art. 88a al. 1, 2ème phrase, RAI) -, on ne saurait considérer que la rémunération perçue depuis janvier 2008 par l'assurée pour son activité (cf. 2ème engagement auprès de W._; contrat de travail du 21 janvier 2008), d'une part, et en raison de son activité auprès du X._, d'autre part, constituait un nouveau revenu au sens de la disposition en cause. A cet égard, l'interruption de quelques jours entre les deux premiers engagements auprès de W._ (qui correspondent de toute vraisemblance à la pause des vacances de Noël) n'est pas déterminante.
5.4 En ce qui concerne la seconde hypothèse prévue par l'art. 31 al. 1 LAI, à savoir l'augmentation du revenu existant, il est vrai que les salaires de l'intimée ont varié jusqu'à l'adoption de la décision litigieuse, soit entre les années 2007 (36'112 fr. 55), 2008 ( 25'869 fr., puis 22'302 fr.) et 2009 (cf. lettre de l'intimée du 7 juillet 2009 et rapport du docteur Burckhardt du 26 janvier 2010), en fonction des différents taux d'activité exercés par l'intéressée. Toutefois, on constate que les revenus de l'assurée n'ont jamais augmenté depuis fin 2007, puisqu'ils ont au contraire diminué, le taux d'occupation de celle-ci n'étant plus que de 21,88% en juillet 2009. La deuxième hypothèse visée par l'art. 31 LAI n'est dès lors pas réalisée dans le cas d'espèce, étant précisé que cette disposition ne tient pas compte de l'éventualité d'une diminution du revenu (cf. arrêt 9C_226/2011 du 15 juillet 2011 consid. 4.4.4).
Pour le surplus, on ne saurait suivre l'intimée lorsqu'elle soutient que le moment déterminant pour l'application de l'art. 31 al. 2 LAI est celui où est intervenue une modification de sa capacité de travail, à savoir en mars 2008; la disposition topique ne permet en effet pas une telle interprétation.
5.5 Cela étant, il convient de retenir que l'art. 31 LAI ne s'applique pas à la situation de l'intimée. C'est donc à tort que la juridiction cantonale a opéré sur le revenu d'invalide les déductions prévues par cette disposition. En ce sens, son raisonnement ne peut être suivi.
5.6 Les revenus avec et sans invalidité, ainsi que le calcul du degré d'invalidité, tels qu'ils ont été établis par l'office AI et repris par les premiers juges, ne sont, pour le reste, pas contestés, ni contestables, de sorte qu'il y a lieu de s'y référer. Par conséquent, la décision de l'office AI réduisant le droit de l'intimée à un trois-quarts de rente à compter du 1er mai 2010 sur la base d'un taux d'invalidité de 63% s'avère conforme au droit fédéral (art. 28 al. 2 LAI et 88bis al. 2 let. a RAI). Le recours doit donc être admis et le jugement attaqué annulé. Etant donné le présent arrêt, la requête d'octroi de l'effet suspensif n'a plus d'objet.
6. Compte tenu de l'issue du litige, l'intimée supportera les frais de justice de la présente procédure et ne peut prétendre une indemnité de dépens pour l'instance fédérale (art. 66 al. 1 et 68 al. 1 LTF). Vu le présent arrêt, la requête d'octroi de l'effet suspensif n'a plus d'objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 13 mars 2012, est annulé.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 31 août 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen