Faits:
A. X._, née le *** 1969, ressortissante serbe, a obtenu une autorisation d'établissement suite à son mariage, contracté le 23 novembre 1989, avec un ressortissant italien titulaire d'une autorisation d'établissement.
Par jugement du Tribunal de Police du district d'Yverdon du 12 novembre 1991, X._ a été condamnée à une peine de 20 jours d'emprisonnement avec sursis durant 2 ans, pour abus de confiance.
Par décision du 20 novembre 1995, l'Office cantonal de contrôle des habitants et de police des étrangers du canton de Vaud (OCE, actuellement le Service de la population [ci-après: le Service cantonal]) a révoqué l'autorisation d'établissement de l'intéressée pour avoir conclu un mariage de complaisance en novembre 1989 dans le seul but d'obtenir une autorisation d'établissement en Suisse. Cette décision a été confirmée le 16 août 1996 par le Tribunal administratif du canton de Vaud (ci-après: le Tribunal cantonal) qui a imparti à X._ un délai au 30 septembre 1996 pour quitter le territoire cantonal. Par décision du 9 avril 1997, l'Office fédéral des étrangers (actuellement Office fédéral des migrations, ci-après: l'ODM) a prononcé une interdiction d'entrée en Suisse à l'égard de X._, valable jusqu'au 8 avril 2002, pour avoir conclu un mariage de complaisance et fait l'objet d'une condamnation pour abus de confiance.
Le 9 juin 2000, X._ a épousé en République de Serbie un compatriote, A._, titulaire d'une autorisation annuelle de séjour en Suisse. Le 24 juillet 2000, X._ a déposé une demande de visa afin de pouvoir prendre domicile auprès de son époux en Suisse. Entrée en Suisse, selon ses déclarations, sans autorisation le 23 octobre 2000, la prénommée a été interpellée à Yverdon le 31 octobre 2000 dans le cadre d'un contrôle de circulation. A cette occasion, la mesure d'interdiction d'entrée en Suisse valable jusqu'au 8 avril 2002 lui a été notifiée. Suite au recours formé contre la décision d'interdiction d'entrée en Suisse de l'ODM, cet Office a, le 27 février 2001, annulé sa décision. Le 12 juin 2001, le Service cantonal a délivré à X._ une autorisation de séjour en vertu du regroupement familial.
Le 22 mars 2002, X._ s'est annoncée au contrôle des habitants de Lausanne, venant de Vevey. A cette occasion, l'annonce de la séparation des époux A.X._ a été enregistrée.
Par décision du 10 octobre 2002, le Service cantonal a refusé le renouvellement de l'autorisation de séjour de X._ en retenant notamment que l'intéressée ne séjournait en Suisse que depuis dix-sept mois environ, n'avait fait ménage commun avec son époux que durant dix mois, qu'aucun enfant n'était issu de cette union et que l'intéressée ne faisait pas état de qualifications professionnelles particulières. Par arrêt du 18 juillet 2003, le Tribunal cantonal a confirmé la décision du Service cantonal du 10 octobre 2002 et imparti à l'intéressée un délai au 31 août 2003 pour quitter le canton de Vaud.
Le 15 juillet 2004, X._ a contracté un troisième mariage, à Orbe, avec B._, ressortissant belge titulaire d'une autorisation d'établissement. A la suite de ce mariage, elle a été mise au bénéfice d'une autorisation de séjour CE/AELE dans le canton de Vaud, valable jusqu'au 14 juillet 2009.
Le 30 avril 2006, son conjoint a définitivement quitté la Suisse pour s'installer en Belgique.
B. Par décision du 30 juillet 2007, le Service cantonal a révoqué l'autorisation de séjour CE/AELE délivrée en faveur de X._ en considérant que le mariage de l'intéressée était vidé de toute substance, de sorte que la poursuite de son séjour sur territoire suisse ne se justifiait plus. Le Service cantonal a également rappelé qu'il s'agissait de la troisième décision refusant la poursuite du séjour en Suisse de l'intéressée pour des motifs de rupture de l'union conjugale.
Par arrêt du 30 janvier 2008, le Tribunal cantonal a admis le recours interjeté contre la décision du 30 juillet 2007 et annulé cette décision pour des motifs d'ordre formel, le Service cantonal n'ayant pas respecté le droit d'être entendu de l'intéressée en ne l'informant pas de son intention de révoquer son autorisation de séjour.
Par courrier du 18 mars 2008, le Service cantonal a informé le conseil de X._ de son intention de révoquer l'autorisation de séjour de cette dernière en se référant à l'arrêt précité.
Par courrier du 9 avril 2008, la recourante a demandé que son autorisation de séjour soit renouvelée malgré la dissolution du mariage, compte tenu de sa bonne intégration professionnelle et de la présence de sa s?ur et de son neveu en Suisse.
Par décision du 30 juin 2008, le Service cantonal a révoqué l'autorisation CE/AELE de X._ en considérant que suite à la séparation du couple et au départ de son conjoint B._ pour la Belgique le 30 avril 2006, la prénommée ne pouvait plus se prévaloir des droits découlant de l'article 3 de l'Annexe 1 de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ci après: ALCP, RS 0.142.112.681). La poursuite du séjour en Suisse de l'intéressée devait ainsi être réglée par la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr, RS 142.20) et ses ordonnances d'exécution. Le Service cantonal a toutefois considéré que compte tenu de l'intégration, des qualifications professionnelles et des attaches de X._ en Suisse, il était disposé à lui délivrer une autorisation annuelle de séjour en application de l'art. 33 LEtr, sous réserve de l'approbation de l'ODM, auquel il a transmis le dossier. Cette décision cantonale n'a pas fait l'objet d'un recours et est entrée en force.
Le 2 mars 2009, l'ODM a rendu à l'endroit de X._ une décision refusant d'approuver la prolongation de son autorisation de séjour. Il a également prononcé le renvoi de Suisse de l'intéressée, en lui impartissant un délai de départ de huit semaines dès l'entrée en force de ladite décision. L'ODM a considéré que X._, qui s'était séparée de son mari en avril 2006 sans qu'une reprise de la vie commune ne soit intervenue par la suite, ne pouvait plus se prévaloir de ce mariage pour justifier la prolongation de son autorisation de séjour et que les droits conférés par l'art. 17 al. 2 de la loi sur le séjour et l'établissement des étrangers (LSEE; en vigueur jusqu'au 31 décembre 2007; RS 1 113) avaient pris fin. Il a indiqué que la durée des séjours effectués en Suisse lors de précédentes unions ne devait pas être prise en considération, car ces séjours étaient abusifs. Il a relevé que le troisième mariage avait duré moins de deux ans et a considéré que l'intégration professionnelle de l'intéressée ne justifiait pas à elle seule l'octroi d'une autorisation de séjour.
X._ a interjeté recours le 2 avril 2009 contre la décision précitée, recours qui a été rejeté par le Tribunal administratif fédéral (ci-après: le TAF) en date du 30 décembre 2011. Ce dernier s'est fondé sur les art. 4 et 16 LSEE, considérant, dans sa pesée des intérêts, que l'intérêt public à l'application d'une politique destinée à lutter contre la surpopulation étrangère et à conserver l'équilibre du marché du travail l'emportait sur l'intérêt privé de X._ à rester en Suisse.
C. X._ forme un « recours » devant le Tribunal fédéral contre le jugement du Tribunal cantonal du 30 décembre 2011. Elle conclut sous suite de frais et dépens, principalement à la réformation de l'arrêt attaqué et au renouvellement de l'autorisation de séjour, subsidiairement au renvoi de la cause à l'ODM. À titre provisionnel, elle demande l'octroi de l'effet suspensif.
Par ordonnance du 15 février 2012, le président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le TAF a renonce à prendre position, tandis que l'ODM conclut au rejet du recours.
Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence et la recevabilité des recours qui lui sont soumis (cf. art. 29 al. 1 LTF; ATF 135 II 22 consid. 1 p. 24; 135 III 462 consid. 1.1 p. 3).
La recourante n'a pas indiqué par quelle voie de recours elle procède auprès du Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte (cf. ATF 133 I 300 consid. 1.2 p. 302/303, 308 consid. 4.1 p. 314).
2. 2.1 Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral, ni le droit international ne donnent droit. D'après la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte (ATF 136 II 177 consid. 1.1 p. 179).
2.2 La LEtr est entrée en vigueur le 1er janvier 2008 et prévoit que les demandes déposées avant cette date sont régies par l'ancien droit (art. 126 al. 1 LEtr), soit par la LSEE. L'ancien droit est applicable à toutes les procédures initiées en première instance avant l'entrée en vigueur de la LEtr, indépendamment du fait qu'elles aient été ouvertes d'office ou sur demande de l'étranger (arrêt 2C_77/2011 du 25 juillet 2011 consid. 2.1).
On peut se demander si l'ancien droit est toujours applicable, dans la mesure où la procédure a été initiée par décision du Service cantonal du 30 juillet 2007, ou s'il faut considérer que la requête de la recourante du 9 avril 2008 en renouvellement de son autorisation de séjour a ouvert une nouvelle procédure. Dans ce dernier cas, la procédure originelle s'est éteinte avec la décision de révocation de l'autorisation de séjour CE/AELE du 30 juin 2008, et la présente espèce doit alors être appréciée à la lumière du nouveau droit.
2.3 La question souffre toutefois de rester ouverte dès lors que, dans les deux cas de figure, le recours doit être déclaré irrecevable, respectivement mal fondé.
2.3.1 L'ALCP est applicable à la prolongation ou au renouvellement d'une autorisation de séjour tant sous l'ancien que sous le nouveau droit. Le conjoint d'une personne ressortissant d'une partie contractante ayant un droit de séjour a le droit de s'installer avec elle (art. 7 let. d ALCP et art. 3 par. 1 et 2 Annexe I ALCP). En cas de séparation des époux, il y a cependant abus de droit à invoquer l'art. 3 par. 1 Annexe I ALCP lorsque le lien conjugal est vidé de toute substance et que la demande de regroupement familial vise seulement à obtenir une autorisation de séjour pour l'époux du travailleur communautaire (ATF 130 II 113 consid. 9.4 p. 134; arrêts 2C_417/2008 du 18 juin 2010 consid. 4.2 et 2C_982/2010 du 3 mai 2011 consid. 3.1).
Le TAF a retenu en l'espèce que la vie commune des époux B._ a définitivement pris fin avec le départ de B._ pour la Belgique le 30 avril 2006, soit depuis plus de six ans, après moins de deux ans de vie commune. La recourante ne prétend d'ailleurs pas que la reprise de la vie commune est envisagée. Le lien conjugal étant vidé de toute substance, la recourante ne peut donc plus se prévaloir de l'art. 3 par. 1 et 2 Annexe I ALCP.
2.3.2 Compte tenu des circonstances de fait et de droit évoquées ci-dessus, la recourante ne peut déduire aucun droit de la LSEE. Le recours en matière de droit public est en conséquence irrecevable en application de l'ancien droit (art. 83 let. c ch. 2 LTF).
Sous l'angle du nouveau droit, après dissolution de la famille, la LEtr ne confère de droit à l'octroi d'une autorisation de séjour ou à sa prolongation que si l'union conjugale a duré au moins trois ans (art. 50 al. 1 let. a LEtr). Comme l'union conjugale a duré moins de deux ans, la recourante ne peut prétendre à aucun droit sur la base du regroupement familial, de sorte que le recours est mal fondé sur ce point.
3. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. La requête d'effet suspensif est devenue sans objet.
Succombant, la recourante supportera les frais judiciaires (art. 65 al. 2 et 3 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge de la recourante.
3. Le présent arrêt est communiqué au mandataire de la recourante, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 5 février 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Cavaleri Rudaz