Sachverhalt:
A. Die serbische Staatsangehörige X._ (geb. 1966) reiste 1997 erstmals in die Schweiz ein und stellte ein Asylgesuch, das am 27. November 1997 rechtskräftig abgewiesen wurde. Am 28. Januar 1998 heiratete sie den Schweizer Bürger Y._ (geb. 1941) und erhielt in der Folge eine Aufenthaltsbewilligung zum Verbleib beim Ehemann. Am 6. April 2001 wurde die Ehe geschieden und mit Verfügung vom 6. Juni 2002 lehnte das Amt für Migration des Kantons Luzern die Verlängerung der Aufenthaltsbewilligung der Ehefrau ab. Zudem wurde X._ mit Verfügung des zuständigen Bundesamtes angewiesen, die Schweiz bis zum 15. Juli 2003 zu verlassen.
Am 4. Juli 2003 heiratete X._ den Schweizer Bürger Z._ (geb. 1983). Am 17. Dezember 2004 erteilte ihr das Amt für Migration eine Aufenthaltsbewilligung zum Verleib beim Ehemann, welche letztmals bis zum 17. Dezember 2007 verlängert wurde. Die Ehe von X._ und Z._ wurde am 12. Juni 2009 geschieden.
Am 15. November 2007 ersuchte X._ um Verlängerung ihrer Aufenthaltsbewilligung. Mit Verfügung vom 15. Oktober 2010 lehnte das Amt für Migration das Gesuch um Verlängerung der Aufenthaltsbewilligung ab und verweigerte die Erteilung einer Niederlassungsbewilligung. X._ wurde angewiesen, die Schweiz bis 31. Dezember 2010 zu verlassen. Die dagegen beim Justiz- und Sicherheitsdepartment und beim Verwaltungsgericht des Kantons Luzern erhobenen Rechtsmittel blieben erfolglos.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiärer Verfassungsbeschwerde vom 28. November 2011 beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Luzern vom 20. Oktober 2011 aufzuheben und ihr die Niederlassungsbewilligung zu erteilen, eventuell die Aufenthaltsbewilligung zu verlängern. Eventualiter wird beantragt, die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Subeventualiter wird beantragt, die Beschwerde als subsidiäre Verfassungsbeschwerde gutzuheissen und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
C. Das Verwaltungsgericht des Kantons Luzern und das Bundesamt für Migration beantragen die Abweisung der Beschwerde. Das Amt für Migration und das Justiz- und Sicherheitsdepartment des Kantons Luzern haben sich nicht vernehmen lassen.
Mit Verfügung vom 5. Dezember 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.
Erwägungen:
1. 1.1 Art. 83 lit. c Ziff. 2 BGG schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Das streitige Gesuch um Verlängerung der Aufenthaltsbewilligung wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher unbestrittenermassen noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG).
1.3 Nach Art. 7 Abs. 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines Schweizer Bürgers grundsätzlich Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung (Satz 1) sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung (Satz 2).
Die Beschwerdeführerin ist seit dem 12. Juni 2009 von ihrem schweizerischen Ehemann geschieden und kann sich daher nicht mehr auf Art. 7 Abs. 1 Satz 1 ANAG berufen. Die Ehe hat indessen mehr als fünf Jahre gedauert, weshalb die Beschwerdeführerin grundsätzlich einen Anwesenheitsanspruch gemäss Art. 7 Abs. 1 Satz 2 ANAG hat. Die Frage, ob die Bewilligung verweigert werden durfte, weil einer der in Art. 7 ANAG vorgesehenen Ausnahmetatbestände oder ein Verstoss gegen das Rechtsmissbrauchsverbot gegeben ist, betrifft nicht das Eintreten, sondern bildet Gegenstand der materiellen Beurteilung (BGE 128 II 145 E. 1.1.2 bis 1.1.5 S. 148 ff. mit Hinweisen). Auf die frist- und formgerecht eingereichte Beschwerde ist somit grundsätzlich einzutreten.
Die Verfassungsbeschwerde ist im Verhältnis zur Beschwerde in öffentlich-rechtlichen Angelegenheiten subsidiär (Art. 113 BGG). Da hier die Letztere zur Verfügung steht, ist die von der Beschwerdeführerin gleichzeitig erhobene Verfassungsbeschwerde nicht zulässig, weshalb darauf nicht eingetreten werden kann.
2. 2.1 Vorab rügt die Beschwerdeführerin eine Verletzung des Grundsatzes von Treu und Glauben bzw. des Willkürverbots (Art. 9 BV). Die Beschwerdeführerin habe im Verfahren vor dem Justiz- und Sicherheitsdepartement die Durchführung eines zweiten Schriftenwechsels beantragt. Die kommentarlose Zustellung der Vernehmlassung des Amtes für Migration habe sie in ihrer Auffassung bestärkt, ihre Beschwerde werde erfolgreich sein. Deshalb hätten die Beschwerdeführerin und ihr Rechtsvertreter keine Veranlassung gehabt, eine zweite schriftliche Stellungnahme einzureichen. Indem die Vorinstanz eine Verletzung des rechtlichen Gehörs durch das Justiz- und Sicherheitsdepartment verneint habe, verletze sie den Grundsatz von Treu und Glauben. Zudem erweise sich die vorinstanzliche Argumentation als willkürlich: Die Beschwerdeführerin habe den Antrag auf Durchführung eines zweiten Schriftenwechsels mit der Tatsache des Anwaltswechsels begründet. Diese Umstände hätten nichts mit der Möglichkeit der Behörde, einen zweiten Schriftenwechsel im Sinne von § 136 des Gesetzes vom 3. Juli 1972 über die Verwaltungsrechtspflege (VRG/LU; SRL 40) durchführen zu dürfen, zu tun, wie dies die Vorinstanzen dargelegt hätten.
2.2 Gemäss Art. 29 Abs. 2 BV und Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör. Diese Garantie umfasst auch das Recht, von den beim Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können (sog. Replikrecht: BGE 133 I 98 E. 2.1 S. 99). Die Wahrnehmung des Replikrechts setzt voraus, dass die fragliche Eingabe der Partei zugestellt wird. Das Bundesgericht hat wiederholt festgehalten, dass den Verfahrensbeteiligten ein Anspruch auf Zustellung von Vernehmlassungen zusteht, unabhängig davon, ob diese Eingaben neue und erhebliche Gesichtspunkte enthalten. Das Gericht muss vor Erlass seines Urteils eingegangene Vernehmlassungen den Beteiligten zustellen, damit diese sich darüber schlüssig werden können, ob sie sich dazu äussern wollen oder nicht (BGE 137 I 95 E. 2.3.1 S. 197; 133 I 100 E. 4.5 S. 103 f.; je mit Hinweisen). Dieses unbedingte Recht, zu jeder Eingabe Stellung nehmen zu können, gilt nicht für das Verfahren vor Verwaltungsbehörden. Auch dort ergibt sich aber aus dem verfassungsmässigen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) das Recht, sich zu Eingaben von Vorinstanz oder Gegenpartei zu äussern, soweit die darin vorgebrachten Noven prozessual zulässig und materiell geeignet sind, den Entscheid zu beeinflussen (Urteil 2C_943/2011 vom 12. April 2012 E. 2.3.2 und 2.5, zur Publikation vorgesehen).
2.3 Die Beschwerdeführerin beruft sich darauf, dass sie aufgrund von Treu und Glauben auf die Anordnung eines zweiten Schriftenwechsels hätte vertrauen dürfen.
Soweit sie in der Beschwerde vor Bundesgericht vorbringt, sie habe zur Begründung des zweiten Schriftenwechsels vorgebracht, die Verfügung des Amtes für Migration erwecke den Eindruck, das Amt habe mit übertriebener Schärfe auf ihr Schicksal reagiert, war dies von vornherein - und für einen Anwalt erkennbar - nicht geeignet, einen Anspruch auf einen zweiten Schriftenwechsel zu begründen; Aspekte, die bereits aus der angefochtenen Verfügung hervorgehen, sind in der Beschwerdeschrift selber zu rügen und nicht in einem zweiten Schriftenwechsel. Sodann bringt die Beschwerdeführerin vor, die Vernehmlassung des Amtes habe sich nicht mit ihrer ausführlichen Begründung auseinandergesetzt und nur am (in der Verfügung geäusserten) Vorwurf festgehalten, es lägen Indizien für eine Scheinehe vor. Die Beschwerdeführerin macht somit selber nicht geltend, die Vernehmlassung habe neue entscheiderhebliche Aspekte enthalten, so dass aus diesem Grund ein Anspruch auf einen zweiten Schriftenwechsel bestanden hätte.
Die Beschwerdeführerin kritisiert die vorinstanzliche Argumentation, sie hätte unaufgefordert eine Replik einreichen können, als treuwidrig, da sie aufgrund der kommentarlosen Zustellung der Vernehmlassung und des frauenfreundlichen Klimas bei Legislative, Exekutive und Judikative darauf habe vertrauen können, das Amt werde seine Verfügung in Wiedererwägung ziehen oder der Beschwerde werde Erfolg beschieden sein, so dass sie keinen Anlass gehabt habe, eine zweite schriftliche Stellungnahme einzureichen; damit anerkennt die Beschwerdeführerin, dass sie eine zweite Eingabe hätte machen können, aber aufgrund bestimmter Umstände darauf verzichtet hat; diese waren aber offensichtlich nicht geeignet, eine Vertrauensgrundlage für eine Gutheissung der Beschwerde zu schaffen.
Unbegründet ist auch die Kritik der Beschwerdeführerin, die vorinstanzliche Argumentation sei willkürlich, weil sie nicht auf den Umstand des Anwaltswechsels eingegangen sei: Die Beschwerdeführerin hatte in ihrer Beschwerde an das Justiz- und Sicherheitsdepartement den Antrag auf einen zweiten Schriftenwechsel damit begründet, dass ihr neuer Anwalt noch keine Akteneinsicht gehabt habe. Daraufhin wurden ihr die Akten zugestellt, worauf die Beschwerdeführerin mit Schreiben vom 29. November 2010 gewisse Ausführungen in der Beschwerde zurückzog. Nachdem ihr am 24. Januar 2011 die Vernehmlassung des Amtes für Migration vom 17. Januar 2011 zur Kenntnisnahme zugestellt worden war, beantragte sie mit Eingabe vom 2. Februar 2011 nochmals, es sei ein zweiter Schriftenwechsel durchzuführen. Sie begründete diesen Antrag aber nicht mehr damit, aus der inzwischen erfolgten Akteneinsicht hätten sich neue Erkenntnisse ergeben, sondern einzig damit, die Vorinstanz habe in ihrer Vernehmlassung die Geschehnisse anders geschildert als in den bisherigen Verfügungen, was der Klarstellung bedürfe; des Weiteren beschuldige die Vorinstanz sie weiterhin mit tatsachenwidrigen Behauptungen, bestreite die Gegensubstantiierung plakativ und unterlasse es, auf die Sache einzugehen. Dementsprechend begründete das Departement in seinem Beschwerdeentscheid vom 20. April 2011 den Verzicht auf einen zweiten Schriftenwechsel damit, aus der Vernehmlassung des Amtes ergäben sich keine neuen Tatsachen oder Rechtsstandpunkte, die einen zweiten Schriftenwechsel erforderten. In der Beschwerde an das Verwaltungsgericht setzte sich die Beschwerdeführerin jedoch nicht mit diesem Argument auseinander, sondern berief sich nun wieder darauf, dass der Anwalt bei der Redaktion der Beschwerdeschrift keine Aktenkenntnis gehabt habe. Sie machte aber mit keinem Wort geltend, dass und inwiefern sie aufgrund der inzwischen erfolgten Akteneinsicht neue Argumente hätte vortragen können und wollen. Unter diesen Umständen war die Vorinstanz nicht gehalten, auf den Aspekt des Anwaltswechsels weiter einzugehen. Hinzu kommt, dass die Vorinstanz entgegen der Darstellung der Beschwerdeführerin die Sache mit freier Kognition prüft (angefochtener Entscheid E. 1c mit Hinweis auf BGE 135 II 369 E. 3.3) und eine allfällige Gehörsverletzung damit hätte heilen können. Schliesslich macht die Beschwerdeführerin selber nicht geltend, inwiefern der beanstandete Mangel für den Ausgang des Verfahrens entscheidend gewesen sei (Art. 97 Abs. 1 BGG).
2.4 Daraus ergibt sich, dass der angefochtene Entscheid weder den Grundsatz von Treu und Glauben noch das Willkürverbot verletzt.
3. 3.1 Gemäss Art. 7 Abs. 1 ANAG hat die ausländische Ehegattin eines Schweizer Bürgers - wie erwähnt - Anspruch auf Verlängerung der Aufenthaltsbewilligung sowie nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren auf Erteilung der Niederlassungsbewilligung. Kein Anspruch besteht, wenn die Ehe eingegangen worden ist, um die Vorschriften über Aufenthalt und Niederlassung von Ausländern zu umgehen (Art. 7 Abs. 2 ANAG). Hierunter fällt die sogenannte Scheinehe oder Ausländerrechtsehe, bei der die Ehegatten von vornherein keine echte eheliche Gemeinschaft beabsichtigen. Doch auch wenn eine Ehe nicht bloss zum Schein eingegangen worden ist, heisst das nicht zwingend, dass dem ausländischen Ehepartner der Aufenthalt ungeachtet der weiteren Entwicklung gestattet werden muss. Zu prüfen ist, ob sich die Berufung auf die Ehe nicht als rechtsmissbräuchlich erweist. Nach gefestigter bundesgerichtlicher Rechtsprechung liegt Rechtsmissbrauch vor, wenn der Ausländer sich im fremdenpolizeilichen Verfahren auf eine Ehe beruft, welche nur (noch) formell besteht oder aufrecht erhalten wird, mit dem alleinigen Ziel, ihm eine Anwesenheitsberechtigung zu verschaffen; dieses Ziel wird von Art. 7 ANAG nicht geschützt (BGE 131 II 265 E. 4.2 S. 267; 130 II 113 E. 4.2 S. 117; je mit Hinweisen).
3.2 Ob eine Scheinehe geschlossen wurde bzw. ob die Ehe nur noch formell und ohne Aussicht auf Wiederaufnahme einer ehelichen Gemeinschaft besteht, entzieht sich in der Regel dem direkten Beweis und ist bloss durch Indizien zu erstellen (BGE 130 II 113 E. 10.2 und 10.3 S. 135 f. mit Hinweis). Feststellungen über das Bestehen solcher Indizien können äussere Gegebenheiten, aber auch innere, psychische Vorgänge betreffen (Wille der Ehegatten); es handelt sich so oder anders um tatsächliche Feststellungen, welche für das Bundesgericht grundsätzlich verbindlich sind (vgl. Art. 105 BGG). Frei zu prüfen ist die Rechtsfrage, ob die festgestellten Tatsachen (Indizien) darauf schliessen lassen, die Berufung auf die Ehe bezwecke die Umgehung fremdenpolizeilicher Vorschriften oder sei rechtsmissbräuchlich (BGE 128 II 145 E. 2.3 S. 152 mit Hinweisen).
3.3 Die Vorinstanz hat offen gelassen, ob von Anfang an eine sog. Ausländerrechts- bzw. Scheinehe im Sinne von Art. 7 Abs. 2 ANAG geschlossen worden ist. Sie ist indes der Auffassung, die Berufung auf die Ehe sei nach Aufgabe des ehelichen Zusammenlebens rechtsmissbräuchlich gewesen. Nach ca. drei Jahren sei der zweite Ehemann zu seiner Lebenspartnerin gezogen, mit welcher ihn ausserdem zwei gemeinsame Kinder verbinden würden. Ab dem Zeitpunkt des Auszugs des Ehegatten habe die Ehe nur noch formell bestanden (vgl. angefochtener Entscheid E. 3d).
3.4 Was die Beschwerdeführerin dagegen einwendet, vermag nicht zu überzeugen: Sie führt aus, die Argumentation der Vorinstanz führe zu einem stossenden, ungerechten Ergebnis bzw. verletze den Gerechtigkeitsgedanken massiv. Es dürfe nicht sein, dass eine Frau, die durch ihren Ehemann betrogen und hintergangen wurde, ihre Aufenthaltsbewilligung verliere; diese Haltung sei frauenfeindlich und lebensfremd. Dass die Beschwerdeführerin die Trennung offenbar nicht wünschte, ändert jedoch nichts am Schluss, dass die Ehe spätestens nach dem Auszug des Ehemanns definitiv gescheitert war. Für die Beschwerdeführerin musste erkennbar sein, dass mangels Ehewillens des Ehemannes mit einer Wiederaufnahme des gemeinsamen Haushalts nicht mehr gerechnet werden konnte. Die Gründe, die zum Scheitern der ehelichen Beziehung geführt haben, sind in diesem Zusammenhang nicht von Belang (Urteil 2C_409/2010 vom 22. November 2010 E. 2.3). Konkrete Anhaltspunkte dafür, dass bis zum Ablauf der Fünfjahresfrist noch berechtigte Hoffnung auf Wiederaufnahme des Ehelebens bestand, macht die Beschwerdeführerin im Übrigen nicht geltend.
3.5 Das Verwaltungsgericht des Kantons Luzern geht in seinem Entscheid von der dargelegten Rechtsprechung zur missbräuchlichen Berufung auf die Ehe aus. Bei gesamthafter Betrachtung aller Indizien musste sich der Schluss aufdrängen, dass keine Aussichten auf Wiederaufnahme einer echten ehelichen Gemeinschaft mehr bestanden und die Ehe definitiv gescheitert war, lange bevor ein Anspruch auf Niederlassungsbewilligung entstehen konnte. Wenn sich die Beschwerdeführerin unter den dargelegten Umständen dennoch auf die Ehe beruft, um eine Verlängerung der Aufenthaltsbewilligung bzw. eine Erteilung der Niederlassungsbewilligung zu erwirken, handelt sie rechtsmissbräuchlich. Damit verstösst die Verweigerung der beantragten Verlängerung der Aufenthaltsbewilligung bzw. Erteilung der Niederlassungsbewilligung nicht gegen Bundesrecht. Weitere Ausführungen dazu erübrigen sich. Es genügt, ergänzend auf die Erwägungen im angefochtenen Entscheid zu verweisen.
3.6 Besteht kein Anwesenheitsanspruch nach Art. 7 ANAG bedarf es keiner Prüfung, ob der Beschwerdeführerin die Rückreise ins Heimatland zumutbar ist.
4. Aus dem sinngemäss geltend gemachten Anspruch auf Schutz des Privatlebens gemäss Art. 8 EMRK kann die Beschwerdeführerin schliesslich ebenfalls nichts zu ihren Gunsten ableiten: Aus diesem ergibt sich ein Recht auf Verbleib im Land bloss unter besonderen Umständen. Eine lange Anwesenheit und die damit verbundene normale Integration genügen praxisgemäss hierzu für sich allein nicht; erforderlich sind besonders intensive, über eine normale Integration hinausgehende private Bindungen gesellschaftlicher oder beruflicher Natur bzw. entsprechende vertiefte soziale Beziehungen zum ausserfamiliären Bereich (BGE 130 II 281 E. 3.2.1 S. 286; 126 II 377 E. 2c S. 384 ff.). Die Beschwerdeführerin legt - entgegen ihrer Mitwirkungspflicht - nicht dar, dass und inwiefern sie hier über solche verfügen würde; sie begnügt sich mit dem Hinweis auf ihre 14-jährige Anwesenheit in der Schweiz und ihre Teilnahme am Wirtschaftsleben, ohne diese Ausführungen zu vertiefen.
5. 5.1 Die Verweigerung der Verlängerung der Aufenthaltsbewilligung bzw. der Erteilung der Niederlassungsbewilligung verstösst somit weder gegen Bundesrecht noch gegen Völkerrecht. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist abzuweisen. Auf die subsidiäre Verfassungsbeschwerde ist nicht einzutreten (vgl. E. 1.3 hiervor). Bei diesem Ergebnis besteht auch kein Anlass, dem Eventualantrag (Rückweisung der Sache an die Vorinstanz) stattzugeben.
5.2 Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG). Es ist keine Parteientschädigung geschuldet (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird der Beschwerdeführerin, dem Amt für Migration und dem Justiz- und Sicherheitsdepartement des Kantons Luzern, dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 26. Juli 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger