Sachverhalt:
A. A.a Die serbische Staatsangehörige X._, geb. 1948, reiste 1984 zu ihrem Ehemann in die Schweiz ein und erhielt im Rahmen des Familiennachzugs eine Aufenthaltsbewilligung. 1990 wurde ihr die Niederlassungsbewilligung erteilt. Nach der Scheidung im April 1992 heiratete sie erneut einen Landsmann, wobei sich die Ehe im Nachhinein als Scheinehe herausstellte. Im September 1995 wurde auch diese Ehe geschieden. Ein ausländerrechtliches Verfahren gegen X._ wurde wegen fehlender Zurechnungsfähigkeit eingestellt.
A.b Am 18. April 2007 meldete sich X._ beim Einwohneramt A._ ins Ausland ab. Vom 19. April 2007 bis zum 10. November 2008 war sie in Wien gemeldet. Am 19. November 2008 reichte sie beim Ausländeramt des Kantons St. Gallen ein Gesuch um Erteilung der Niederlassungsbewilligung ein, wobei sie als Anwesenheitszweck "IV-Rentnerin, Familie" angab. In der Folge machte sie geltend, ihre Niederlassungsbewilligung sei weiterhin gültig; eventuell sei ihr eine neue Aufenthaltsbewilligung unter Abweichung von den Zulassungsvoraussetzungen zu erteilen.
A.c Mit Verfügung vom 12. Juni 2009 stellte das Ausländeramt fest, die Niederlassungsbewilligung von X._ sei erloschen, und verweigerte ihr eine neue Aufenthaltsbewilligung.
B. Am 26. April 2010 wies das Sicherheits- und Justizdepartement einen dagegen erhobenen Rekurs ab. Mit Urteil vom 30. November 2010 wies auch das Verwaltungsgericht des Kantons St. Gallen eine dagegen eingereichte Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 24. Januar 2011 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben und die Sache zu weiteren Abklärungen sowie zu neuem Entscheid an das Verwaltungsgericht zurückzuweisen.
D. Das Sicherheits- und Justizdepartement des Kantons St. Gallen sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerden. Das Verwaltungsgericht stellt Antrag auf Abweisung, soweit auf die Beschwerden eingetreten werden könne.
Erwägungen:
1. 1.1 Gegen Entscheide über die Feststellung des Erlöschens einer Niederlassungsbewilligung ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig, weil grundsätzlich ein Anspruch auf das Fortbestehen dieser Bewilligung besteht (BGE 135 II 1 E. 1.2.1 S. 4).
1.2 Ausgeschlossen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten hingegen gegen Entscheide über Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt (Art. 83 lit. c Ziff. 2 BGG) und über Abweichungen von den Zulassungsvoraussetzungen (Art. 83 lit. c Ziff. 5 BGG). Die Beschwerdeführerin hat keinen Anspruch auf Erteilung einer neuen Aufenthaltsbewilligung. Ebenso wenig ist auf die Beschwerde einzutreten, soweit sie eine Verletzung der bundesrechtlichen Vorschriften über die Ausnahme von den Zulassungsvoraussetzungen geltend macht.
1.3 Mangels Berechtigung in der Sache selbst ist die Beschwerdeführerin sodann nicht legitimiert, die Verweigerung einer neuen Bewilligung mit subsidiärer Verfassungsbeschwerde wegen Verletzung des Willkürverbots inhaltlich anzufechten. Hingegen kann sie mit diesem Rechtsmittel die Verletzung von Parteirechten rügen, die auf eine formelle Rechtsverweigerung hinauslaufen (vgl. BGE 133 I 185).
2. 2.1 Nach Art. 126 Abs. 1 AuG bleibt auf Gesuche, die vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, das bisherige Recht anwendbar. Die Rechtsprechung hat diese Regel analog ausgeweitet auf von den Behörden eingeleitete ausländerrechtliche Verfahren (vgl. etwa das Urteil des Bundesgerichts 2C_657/2007 vom 26. Mai 2008 E. 1.2). Die Beschwerdeführerin hat ihr Gesuch um Erteilung einer neuen Bewilligung am 19. November 2008 und damit nach Inkrafttreten des neuen Rechts eingereicht, weshalb dieses insoweit anwendbar ist.
2.2 Fraglich ist hingegen, welches Recht für den Streitpunkt des Erlöschens der Niederlassungsbewilligung gilt. Sowohl nach dem altrechtlichen Art. 9 Abs. 3 lit. c ANAG als auch gemäss dem neuen Art. 61 Abs. 1 lit. a und Abs. 2 AuG erlischt die Niederlassungsbewilligung mit der Abmeldung ins Ausland oder durch einen Auslandaufenthalt von sechs Monaten. Diese Frist ist vorliegend noch unter der Geltung des alten Rechts abgelaufen, was für dessen Anwendbarkeit spricht. Da die materielle Rechtslage aber in den hier fraglichen Streitpunkten sowohl nach altem als auch nach neuem Recht dieselbe ist, kann es letztlich offen bleiben, ob dieses oder jenes Anwendung findet.
3. 3.1 Einer Abmeldung kommt die weitreichende Folge des Erlöschens nur zu, wenn sie klar und eindeutig zu verstehen ist. Ausländer mit Niederlassungsbewilligung sind bei der Abmeldung ausdrücklich auf diese Folgen aufmerksam zu machen (vgl. SILVIA HUNZIKER, in: Caroni et al. [Hrsg.], Bundesgesetz über die Ausländerinnen und Ausländer, Kommentar, 2010, N. 5 zu Art. 61; ZÜND/ARQUINT HILL, in Uebersax et al. [Hrsg.], Ausländerrecht, 2. Aufl., 2009, Rz. 8.8). Auf dem Ausländerausweis der Beschwerdeführerin befindet sich wohl ein Abmeldevermerk, doch sind die näheren Umstände der Abmeldung nicht bekannt. Die Vorinstanz hat denn auch ausdrücklich offen gelassen, ob die Voraussetzungen eines Erlöschens der Niederlassungsbewilligung in diesem Zusammenhang erfüllt sind.
3.2 Für ein Erlöschen infolge eines sechsmonatigen Auslandaufenthalts genügt das formale Kriterium eines solchen Aufenthalts (BGE 120 Ib 372). Eine Verlegung des Lebensmittelpunkts ist nicht zwingend erforderlich; wenn dieser jedoch ins Ausland verschoben wird, so unterbrechen vorübergehende Besuchs-, Tourismus- oder Geschäftsaufenthalte in der Schweiz die Frist nicht (vgl. HUNZIKER, a.a.O., N. 19 f. zu Art. 61; ZÜND/ARQUINT HILL, a.a.O., Rz. 8.9; vgl. auch neurechtlich Art. 79 Abs. 1 VZAE).
3.3 Die Beschwerdeführerin machte vor der Vorinstanz geltend, sie habe sich hauptsächlich in der Schweiz aufgehalten und ihren Lebensmittelpunkt hier behalten, weshalb die Niederlassungsbewilligung nicht wegen Auslandaufenthalts erloschen sei. Vor Bundesgericht bringt sie vor, das Verwaltungsgericht habe ihren Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV verletzt, weil es die von ihr angebotenen Zeugenbeweise nicht abgenommen habe.
3.4 Wird der Sachverhalt unter Verletzung des rechtlichen Gehörs festgestellt, liegt darin eine Rechtsverletzung im Sinne von Art. 95 lit. a BGG, was vor Bundesgericht gerügt werden kann, sofern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
3.5 Es ist offensichtlich, dass der Frage, ob sich die Beschwerdeführerin im Ausland oder in der Schweiz aufgehalten hat, vorliegend entscheidende Bedeutung zukommt. Die Vorinstanz hat jedoch nicht grundlos auf die Erhebung der offerierten Zeugenbeweise verzichtet. Sie hat im Gegenteil dazu ausgeführt, dass die Beschwerdeführerin selbst geschildert hatte, sie habe in Wien bei verschiedenen Leuten gewohnt und sei mit den dortigen Behörden regelmässig im Kontakt und dabei dafür besorgt gewesen, den Bezug ihrer Rente der Invalidenversicherung in Österreich zu sichern. Es sei denn auch erstellt, dass die Beschwerdeführerin vom 19. April 2007, d.h. mit Beginn einen Tag nach der Abmeldung in A._, bis zum 10. November 2008 in Wien gemeldet war. Die Beschwerdeführerin habe überhaupt keine Sachbeweise erbracht oder auch nur offeriert, um ihre Anwesenheit in der Schweiz glaubhaft zu machen; auch zu ihren Lebensumständen in Wien habe sie keine Belege offeriert. Es könne daher darauf verzichtet werden, Zeugen aus ihrem Verwandten- und Bekanntenkreis einzig zur angeblichen Anwesenheit in der Schweiz einzuvernehmen.
3.6 Nach Art. 29 Abs. 2 BV haben die Parteien in behördlichen Verfahren Anspruch auf rechtliches Gehör. Dazu gehört, dass die Behörde alle erheblichen und rechtzeitigen Vorbringen der Parteien würdigt und die ihr angebotenen Beweise abnimmt, wenn diese zur Abklärung des Sachverhalts tauglich erscheinen. Umgekehrt müssen angebotene Beweise nicht abgenommen werden, wenn sie entweder eine rechtlich nicht erhebliche Frage betreffen oder wenn sie von vornherein am festgestellten Ergebnis nichts zu ändern vermögen (antizipierte Beweiswürdigung; vgl. BGE 130 II 425 E. 2.1 mit Hinweisen).
3.7 Der Beschwerdeführerin oblag im Verfahren vor den Vorinstanzen eine Mitwirkungspflicht sowohl nach der allgemeinen Regel von Art. 13 VwVG als auch gemäss der speziellen Bestimmung von Art. 13f ANAG bzw. Art. 90 AuG. Die Mitwirkungspflicht gilt insbesondere für Ausländer, die wie hier Rechte geltend machen, und für die Erstellung von Tatsachen, die eine Partei besser kennt als die Behörden und welche diese ohne ihre Mitwirkung gar nicht oder nicht mit vernünftigem Aufwand ermitteln können (vgl. PETER UEBERSAX, in Uebersax et al. [Hrsg.], Ausländerrecht, 2. Aufl., 2009, Rz. 7.273 f.). Das neue Recht sieht überdies sogar ausdrücklich eine Beweisbeschaffungspflicht vor (vgl. Art. 90 lit. b AuG). Selbst wenn diese Sonderbestimmung hier noch nicht anwendbar sein sollte, hat die anwaltlich vertretene Beschwerdeführerin ihrer Mitwirkungspflicht nicht Genüge getan. Abgesehen von den angeblichen Zeugenbeweisen hat sie keinerlei Belege angeboten. Es ist nicht unzulässig, wenn das Verwaltungsgericht relativ einfach beibringbare minimale Sachbeweise verlangt und damit voraussetzt, dass der Standpunkt der Beschwerdeführerin einigermassen glaubhaft erscheint, bevor Zeugen befragt werden, wenn deren Aussagen nach allgemeiner Erfahrung nur bedingt geeignet sein können, den strittigen Parteistandpunkt zu beweisen.
3.8 Gewiss trifft es zu, dass gemeinhin nicht sämtliche Belege über Reisen und Aufenthalte aufbewahrt werden. Mit der Vorinstanz erscheint es jedoch auch nicht glaubwürdig, dass die Beschwerdeführerin überhaupt keine Sachbeweise mehr besitzen und vorlegen können will. Zwar ist es sodann möglich, dass einzelne Aufenthalte in der Schweiz von den Zeugen bestätigt werden könnten. Der angefochtene Entscheid erscheint allenfalls insoweit etwas fragwürdig, als er sich in dem Sinne verstehen lässt, die Beschwerdeführerin habe sich seit ihrer Abmeldung ins Ausland überhaupt nie mehr in der Schweiz aufgehalten. Dies hätten die Zeugenbefragungen eventuell zu widerlegen vermocht. Indessen ist es wenig wahrscheinlich, dass sich mit der Zeugenbefragung nachvollziehbar beweisen liesse, die Beschwerdeführerin habe trotz Abmeldung ins Ausland, unbestrittener Anmeldung in Wien und selbst eingestandenen Aufenthalts in Wien weiterhin schwerpunktmässig in der Schweiz gelebt. Unter diesen Umständen durfte die Vorinstanz in antizipierter Beweiswürdigung gestützt auf die vorhandenen gegenteiligen Beweise davon ausgehen, dass die Zeugenbefragungen von vornherein nichts an der Schlussfolgerung hätten ändern können, die Beschwerdeführerin habe sich hauptsächlich und mit entsprechendem Lebensmittelpunkt in Wien aufgehalten. Damit hat das Verwaltungsgericht den Anspruch der Beschwerdeführerin auf rechtliches Gehör in diesem Zusammenhang nicht verletzt.
3.9 Der angefochtene Entscheid verstösst demnach nicht gegen Art. 9 Abs. 3 lit. c ANAG bzw. Art. 61 Abs. 2 AuG.
4. 4.1 Mit Blick auf die Ermessensbewilligung nach Art. 30 AuG läuft die Rüge der gehörswidrigen Beweiswürdigung auf eine unzulässige inhaltliche Überprüfung des angefochtenen Entscheids in der Sache hinaus. Insoweit kann auf die subsidiäre Verfassungsbeschwerde mithin ebenfalls nicht eingetreten werden (vgl. BGE 114 Ia 307 E. 3c S. 313).
4.2 Die Beschwerdeführerin macht überdies geltend, das Sicherheits- und Justizdepartement habe sein Ermessen unterschritten. In der Beschwerde an die Vorinstanz habe sie denn auch gerügt, indem die Ausländerbehörden praxisgemäss keine Bewilligung bei Vorliegen von Schulden und eines Fürsorgerisikos erteilten, verzichteten sie von vornherein auf den durch das Gesetz vorgesehenen Ermessensspielraum. Diese Rüge läuft auf die Geltendmachung einer teilweisen formellen Rechtsverweigerung hinaus, was im Rahmen der subsidiären Verfassungsbeschwerde zulässig und zu prüfen ist. Indessen ist erstens nicht erstellt, dass die zuständigen Behörden des Kantons St. Gallen die Erteilung einer Ermessensbewilligung generell ausschliessen und sich das entsprechende Argument nicht einzig auf den vorliegenden Fall bezog. Zweitens handelt es sich beim Vorliegen einer Schuldenwirtschaft oder von Sozialhilfeabhängigkeit um Gründe, die den Widerruf einer bestehenden Bewilligung rechtfertigen können (vgl. Art. 62 lit. c und e AuG in Verbindung mit Art. 80 VZAE) und daher auch bei der Erteilung einer solchen selbst dann zu berücksichtigen sind, wenn darauf ein Anspruch besteht. Es stellt daher keine Unterschreitung des Ermessens dar, wenn im Einzelfall beim konkreten Vorliegen von Schulden und eines Sozialhilferisikos von der Erteilung einer Ermessensbewilligung abgesehen wird.
5. 5.1 Sowohl die Beschwerde in öffentlich-rechtlichen Angelegenheiten als auch die subsidiäre Verfassungsbeschwerde erweisen sich demnach als unbegründet und sind abzuweisen, soweit jeweils darauf eingetreten werden kann.
5.2 Bei diesem Verfahrensausgang wird die unterliegende Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
4. Dieses Urteil wird der Beschwerdeführerin, dem Migrationsamt, dem Sicherheits- und Justizdepartement sowie dem Verwaltungsgericht des Kantons St. Gallen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 1. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Uebersax