Sachverhalt:
A. Der unverheiratete, 1953 geborene C._ war bei der Pensionskasse X._ (im Folgenden: Pensionskasse) berufsvorsorgeversichert, als er im Juli 2007 verstarb. Er hinterliess seine Mutter L._ und drei Schwestern (H._, S._ und R._) als gesetzliche Erbinnen sowie G._ als testamentarische Erbin zu 30 % des Nachlasses und als Vermächtnisnehmerin für den Hausrat und persönliche Gegenstände ohne Anrechnung an den Erbteil. Die Pensionskasse teilte den gesetzlichen Erbinnen mit, es bestehe ein Todesfallkapital von Fr. 431'896.90, welches ihnen gemäss Art. 18 Abs. 5 ihres Reglements zur Hälfte ausbezahlt werde.
B. Am 11. Juni 2008 erhob G._ beim Verwaltungsgericht von Appenzell-Ausserrhoden Klage gegen die Pensionskasse mit dem Begehren, es sei das gesamte Todesfallkapital ihr auszubezahlen. Das Verwaltungsgericht lud die vier gesetzlichen Erbinnen zum Verfahren bei und wies die Klage mit Entscheid vom 25. März 2009 ab.
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben mit dem Antrag, unter Aufhebung des Entscheids vom 25. März 2009 sei die Pensionskasse zu verpflichten, ihr das Todesfallkapital von Fr. 431'896.90 zuzüglich Zins auszubezahlen.
Die Pensionskasse lässt die Abweisung der Beschwerde beantragen. Die gesetzlichen Erbinnen und das kantonale Gericht lassen sich nicht vernehmen, das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1. Art. 18 Abs. 2 und 3 des Vorsorgereglements der Pensionskasse vom 1. Januar 2005 lauten wie folgt:
"2 Anspruchsberechtigt [für das Todesfallkapital] sind, unabhängig vom Erbrecht, die Hinterlassenen nach folgender Rangordnung (vorbehalten bleibt eine schriftliche Begünstigtenerklärung):
a. Der Ehegatte; bei dessen Fehlen
b. Die Kinder, die Anspruch auf eine Waisenrente nach Art. 17 haben, bei deren Fehlen, bei deren Fehlen [sic]
c. Natürliche Personen, die von der versicherten Person zum Zeitpunkt ihres Todes massgeblich unterstützt wurden oder die Person, die mit ihr in den letzten fünf Jahren bis zu ihrem Tod ununterbrochen eine Lebensgemeinschaft geführt hat oder die für den Unterhalt eines oder mehrerer gemeinsamer Kinder aufkommen muss, sofern die Begünstigung zu Lebzeiten erfolgt ist, bei deren Fehlen
d. Die Kinder, sofern diese nicht schon unter Ziff. b fallen; bei deren Fehlen,
e. Die Eltern und Geschwister und die übrigen gesetzlichen Erben.
3 Die versicherte Person kann zuhanden der Geschäftsführung der Pensionskasse schriftlich festlegen (vgl. Anhang 5), welche Personen innerhalb einer anspruchsberechtigten Gruppe zu begünstigen sind und in welchen Teilbeträgen diese Anspruch auf das Todesfallkapital haben."
2. 2.1 Es steht fest, dass keine Hinterlassenen im Sinne von Art. 18 Abs. 2 lit. a und b des Reglements vorhanden sind und dass die Beschwerdeführerin in den letzten fünf Jahren vor dem Tod des Versicherten ununterbrochen mit diesem eine Lebensgemeinschaft führte. Die Pensionskasse bestreitet zwar in der Beschwerdeantwort die Dauer des Konkubinats sowie eine angebliche Diskussion unter den Konkubinatspartnern im Jahre 2007, doch in der vorinstanzlichen Klageantwort stellte sie nur diese in Abrede, nicht aber - jedenfalls soweit rechtserheblich - die Dauer des Konkubinats (vgl. <ref-law>), die im Übrigen auch aktenmässig belegt ist.
2.2 Die Vorinstanz hat die Klage abgewiesen mit der Begründung, gemäss Art. 18 Abs. 2 lit. c des Reglements sei eine zu Lebzeiten erfolgte Begünstigung Voraussetzung für einen Anspruch der überlebenden Lebenspartnerin. Eine solche sei nicht vorgenommen worden und auch im Testament nicht enthalten.
2.3 Die Beschwerdeführerin bestreitet nicht, dass keine explizite schriftliche Begünstigung vorliegt. Sie macht aber geltend, eine solche sei nicht nötig, weil die entsprechende Klausel ("sofern die Begünstigung zu Lebzeiten erfolgt ist") in Art. 18 Abs. 2 lit. c des Reglements im Widerspruch zu Art. 20a Abs. 1 lit. a BVG (SR 831.40) stehe. Die reglementarische Bestimmung schreibe zudem keine schriftliche Begünstigungserklärung vor. Sodann beziehe sich das Erfordernis der Begünstigung in teleologischer Auslegung des Vorsorgereglements sowie in Anwendung der Unklarheitenregel nur auf die letzte der drei in lit. c genannten Personengruppen.
2.4 Die Pensionskasse hält das Erfordernis der lebzeitigen Begünstigung für rechtlich zulässig und sachlich notwendig. Überdies sei das Reglement klar und eindeutig.
3. 3.1 Der Vorinstanz ist beizupflichten, dass sich das Erfordernis der Begünstigung zu Lebzeiten in Art. 18 Abs. 2 lit. c des Vorsorgereglements auf alle drei darin genannten Personengruppen bezieht. Das ergibt sich nicht nur aus einer grammatikalischen Auslegung, sondern ebenso aus einer teleologischen und systematischen: Der Sinn und Zweck einer solchen Begünstigungsregelung besteht darin, über die begünstigten Personen möglichst grosse Klarheit zu schaffen. Denn im Unterschied zu den in lit. a, b, d und e genannten Personen ergibt sich bei lit. c die Zugehörigkeit zu der betreffenden Gruppe nicht aus in der Regel feststehenden rechtlichen Kriterien, sondern aus faktischen Umständen, deren Vorliegen häufig unklar und umstritten ist, insbesondere nach dem Ableben der versicherten Person. Die Vorsorgeeinrichtungen haben deshalb ein legitimes Interesse daran, mittels einer entsprechenden Erklärung Klarheit über die begünstigten Personen zu haben (vgl. <ref-ruling> E. 4.2.3 S. 318 f.; SVR 2008 BVG Nr. 2 S. 6, B 104/06 E. 5.3.1; SVR 2009 BVG Nr. 18 S. 65, 9C_710/2007 E. 5.2). Diese Überlegungen gelten für alle drei in Art. 18 Abs. 2 lit. c des Vorsorgereglements erwähnten Personengruppen, nicht bloss für die letztgenannte. Daran ändert auch die Ungewöhnlichkeitsregel nichts, zumal die Auslegung der Beschwerdeführerin, wonach sich das Erfordernis der Begünstigung nur auf die letztgenannte Gruppe bezieht, ungewöhnlich ist; denn es ist kein sachlicher Grund für die Ungleichbehandlung der Gruppen ersichtlich.
3.2 Im Wortlaut von Art. 18 Abs. 2 lit. c des Vorsorgereglements ist freilich - im Unterschied zum Klammerausdruck im Ingress von Abs. 2 sowie zum (hier nicht anwendbaren) Abs. 3 - nicht ausdrücklich von einer schriftlichen Begünstigung die Rede. Ob die Schriftlichkeit der Erklärung trotzdem als formelles Gültigkeitserfordernis zu betrachten ist, wovon die Vorinstanz ausgeht, kann indessen offenbleiben. Selbst wenn dies zu verneinen wäre, müsste die Beschwerdeführerin ihre Begünstigung nachweisen, da sie daraus Rechte ableitet (<ref-law>). Der blosse Umstand, dass sie mit letztwilliger Verfügung als Erbin eingesetzt wurde, lässt nicht auf einen Begünstigungswillen hinsichtlich der Leistungen der 2. Säule schliessen (vgl. SVR 2006 BVG Nr. 13 S. 47, B 92/04 E. 5.2 und 5.3; SVR 2008 BVG Nr. 2 S. 6, B 104/06 E. 5.3.2.2). Hinzu kommt, dass der Versicherte die Beschwerdeführerin im Testament nur zu 30 % als Erbin einsetzte, während im Übrigen - abgesehen von Vermächtnissen - die gesetzliche Erbfolge gelten sollte. Der Versicherte hat somit die gesetzlichen Erben nicht bloss auf den Pflichtteil gesetzt (<ref-law>); er hat damit jedenfalls zum Ausdruck gebracht, dass er die Beschwerdeführerin nicht im maximal möglichen Umfang begünstigen wollte. Es werden auch sonst keine hinreichenden Indizien geltend gemacht, aus welchen auf einen Begünstigungswillen in Bezug auf das Todesfallkapital zu schliessen wäre. Die Beschwerdeführerin hat somit den ihr obliegenden Beweis einer Begünstigung nicht erbracht.
3.3 Schliesslich vermag die Beschwerdeführerin auch nichts daraus abzuleiten, dass im alten, bis Ende 2004 in Kraft gestandenen Vorsorgereglement der Beschwerdegegnerin eine ausdrückliche Begünstigung nicht vorgeschrieben war. Sie hat sich selber auf das neue Reglement berufen und es ist von keiner Seite behauptet worden, dem Versicherten sei das neue, am 1. Januar 2005 in Kraft getretene Reglement nicht mitgeteilt worden. Er hätte daher bis zu seinem Tod am ... Juli 2007 genügend Zeit gehabt, eine dem neuen Reglement entsprechende Begünstigung auszudrücken, wenn dies sein Wille gewesen wäre (SVR 2009 BVG Nr. 18 S. 65, 9C_710/2007 E. 5.2).
3.4 Insgesamt ergibt sich, dass eine Begünstigung der Beschwerdeführerin im Sinne von Art. 18 Abs. 2 lit. c des Vorsorgereglements nicht vorliegt.
4. Streitig und zu prüfen ist weiter, ob es mit Art. 20a BVG vereinbar ist, wenn eine Pensionskasse als Voraussetzung für einen Anspruch der überlebenden Konkubinatspartnerin auf das Todesfallkapital eine Begünstigung zu Lebzeiten verlangt.
4.1 Vor dem Inkrafttreten von Art. 20a BVG am 1. Januar 2005 war es gemäss Rechtsprechung zulässig, den Anspruch des überlebenden Lebenspartners auf Todesfallleistungen an das Vorliegen einer zu Lebzeiten erfolgten (schriftlichen) Begünstigung oder Meldung zu binden. Dies wurde mit dem Anliegen der Rechtssicherheit (vgl. E. 3.1) begründet sowie mit dem schutzwürdigen Interesse der Vorsorgeeinrichtung an der Kenntnis der durch den Todesfall eines Versicherten ausgelösten Leistungen (<ref-ruling> E. 4.2.3 S. 318 f.; SVR 2009 BVG Nr. 18 S. 65, 9C_710/2007 E. 5.2; vgl. auch SVR 2006 BVG Nr. 13 S. 47, B 92/04 E. 5.3).
4.2 Streitig ist, ob der am 1. Januar 2005 in Kraft getretene und hier anwendbare Art. 20a BVG diesbezüglich eine Änderung gebracht hat. In <ref-ruling> E. 6.3.1. S. 378 führte das Bundesgericht unter der Geltung des neuen Rechts und unter Hinweis auf Lehrmeinungen sowie auf die früher ergangene Rechtsprechung aus, die Reglemente der Vorsorgeeinrichtungen könnten die Anspruchsberechtigung der in Art. 20a Abs. 1 BVG genannten Personen von der Abgabe einer Begünstigungserklärung oder einer schriftlichen Vereinbarung über die Unterstützungspflicht abhängig machen. Die Frage war allerdings dort nicht entscheiderheblich, da das anwendbare Reglement eine solche Anforderung ohnehin nicht enthielt. In <ref-ruling> E. 2 führte das Bundesgericht aus, es sei unbestritten, dass die zu Lebzeiten erfolgte Begünstigung der Lebenspartnerin durch den Versicherten nach dem im Zeitpunkt der entsprechenden Erklärung geltenden alten wie auch nach dem ab 1. Januar 2005 geltenden neuen Reglement der Vorsorgeeinrichtung zulässig sei; zu prüfen war nur, ob diese reglementarisch zulässige Begünstigung - im Hinblick auf den (konkurrierenden) Anspruch eines Waisen im Sinne von Art. 20 BVG - mit Art. 20a BVG vereinbar war.
4.3 Art. 20a BVG wurde ins Gesetz aufgenommen, um die vorher nur durch Kreisschreiben der Steuerverwaltung geregelte Frage zu beantworten, ob und in welchem Umfang die Lebenspartner in der 2. Säule begünstigt werden können. Mit der ausdrücklichen gesetzlichen Regelung sollten die Hinterlassenenleistungen für nicht verheiratete Lebenspartner verbessert und der Kreis der begünstigten Personen im Bereich des Überobligatoriums vereinheitlicht werden (Botschaft vom 1. März 2000 zur Revision des Bundesgesetzes über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge [1. BVG-Revision], BBl 2000 2683 Ziff. 2.9.6.1). Die nunmehr auf Gesetzesstufe gehobene Regelung stimmt inhaltlich weitgehend mit der früheren Rechtslage überein mit der Ausnahme, dass die Begünstigung des nicht verheirateten Lebenspartners erweitert zulässig wurde, indem sie bei ununterbrochener fünfjähriger Lebensgemeinschaft vor dem Tod oder bei Sorge für ein gemeinsames Kind auch möglich ist, ohne dass eine erhebliche Unterstützung nachgewiesen werden muss (<ref-ruling> E. 4.3-4.5; <ref-ruling> E. 3.3 S. 86).
4.4 Ob die Vorsorgeeinrichtung die Begünstigung der in Art. 20a BVG erwähnten Personen von einschränkenderen Bedingungen als den im Gesetz genannten abhängig machen kann, ist umstritten (verneinend: Mitteilungen über die berufliche Vorsorge Nr. 79 vom 27. Januar 2005 Ziff. 472 S. 8 f.; bejahend: MARKUS MOSER, Die Lebenspartnerschaft in der beruflichen Vorsorge nach geltendem und künftigem Recht, AJP 2004 S. 1511; HANS-ULRICH STAUFFER, Berufliche Vorsorge, 2005, N. 708 S. 263) und geht aus dem Wortlaut des Gesetzes nicht klar hervor. Die Regelung ist jedenfalls in dem Sinne zwingend, als die Vorsorgeeinrichtungen an die darin genannten Personenkategorien sowie an die Kaskadenfolge gebunden sind. Nach wie vor gehört aber die Begünstigung der in Art. 20a BVG genannten Personen zu der überobligatorischen Vorsorge; die Vorsorgeeinrichtungen sind frei, ob sie überhaupt Leistungen an diese Personen vorsehen wollen (<ref-ruling> E. 3.2; BBl 2000 2683 Ziff. 2.9.6.1, 2691; STAUFFER, a.a.O., N. 703 S. 261 f.; MOSER, a.a.O., S. 1510).
4.5 Wenn somit ein Anspruch der in Art. 20a BVG genannten Personen nicht von Gesetzes wegen besteht, sondern nur, wenn das Reglement der Vorsorgeeinrichtung einen solchen statuiert (Art. 49 Abs. 1 und Art. 50 BVG), dann scheint es folgerichtig, dass das Reglement diese Begünstigung auch von einer entsprechenden Erklärung des Versicherten abhängig machen kann. Dafür spricht, dass im Bereich des Überobligatoriums - im Rahmen der verfassungsmässigen und gesetzlichen Schranken - eine grosse Autonomie der Vorsorgeeinrichtungen besteht (Art. 49 Abs. 1 BVG; <ref-ruling> E. 4.6). Weder aus dem Wortlaut von Art. 20a BVG noch aus den Materialien dazu ergibt sich, dass damit die vorher bestehende Möglichkeit, die Begünstigung von einer Erklärung des Versicherten abhängig zu machen (E. 4.1), aufgehoben werden sollte. Mit einem solchen Erfordernis wird nicht eine zusätzliche materielle Bedingung, sondern nur eine formelle Voraussetzung aufgestellt. Es entspricht auch der Natur der nicht-ehelichen Lebensgemeinschaft, dass im Unterschied zur gesetzlich geregelten Ehe die Beziehungen zwischen den Partnern vollumfänglich deren Autonomie überlassen werden. Diese Flexibilität dürfte ein wichtiger Grund sein dafür, dass manche Paare jene Lebensform der Ehe vorziehen. Es ist daher systemkonform, wenn auch in der 2. Säule die Begünstigung der nichtehelichen Lebenspartner vom Willen der Beteiligten abhängig gemacht wird. Schliesslich gelten die Überlegungen zur Rechtssicherheit (E. 4.1) weiterhin. Auch in der Literatur wird die Auffassung vertreten, dass die Reglemente die Abgabe einer Begünstigungserklärung oder eine schriftliche Unterhaltsvereinbarung verlangen können (MOSER, a.a.O., S. 1512; ISABELLE VETTER-SCHREIBER, Berufliche Vorsorge, 2. Aufl. 2009, N. 2 und 10 f. zu Art. 20a BVG) oder dass die versicherte Person innerhalb der in Art. 20a genannten Kaskaden die begünstigten Personen bezeichnen kann (WILLI LÖTSCHER, Die neuen Begünstigungsmöglichkeiten in der beruflichen Vorsorge nach der 1. BVG-Revision, HAVE 2005 S. 163; VETTER-SCHREIBER, a.a.O., N. 4 und 7 zu Art. 20a BVG).
4.6 Insgesamt erweist sich die Klausel in Art. 18 Abs. 2 lit. c des Vorsorgereglements, wonach für die Begründung eines Anspruchs zu Lebzeiten eine Begünstigung erfolgt sein muss, als mit Art. 20a BVG vereinbar. Damit wird die gesetzlich zwingende Kaskadenordnung nicht verletzt, weil die reglementarische Reihenfolge der gesetzlichen entspricht und ein rein formelles zusätzliches Erfordernis zulässig ist. Nicht zu entscheiden ist hier, ob dieses Erfordernis auch im Rahmen von Art. 15 FZV (SR 831.425) zulässig wäre, da die Voraussetzungen für eine Begünstigung nach Art. 20a BVG nicht zwingend mit denjenigen nach Art. 15 FZV übereinstimmen (BGE <ref-ruling> E. 3.4 S. 86 f.; vgl. auch <ref-ruling> E. 3.3 S. 312 f.).
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (<ref-law>). Die obsiegende Pensionskasse hat keinen Anspruch auf Parteientschädigung (<ref-law>; <ref-ruling> E. 5b S. 133; <ref-ruling> E. 4a S. 150).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, den Mitbeteiligten, dem Verwaltungsgericht von Appenzell Ausserrhoden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. März 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann