Sachverhalt:
A. A.a Die Stiftung Pensionskasse Z._ (ab 1. April 2004 umbenannt in Pensionskasse X._; im Folgenden: Pensionskasse) wurde im Jahre 1941 gegründet mit dem Zweck, die berufliche Vorsorge für die Arbeitnehmer der Stifterfirma durchzuführen. Die Expertin für berufliche Vorsorge Y._) war von 1996 bis 2002 als Expertin für berufliche Vorsorge für die Pensionskasse tätig. Infolge von Umstrukturierungen bei der Stifterfirma ergab sich eine erhebliche Reduktion des Versichertenbestandes, so dass der Stiftungsrat im Oktober 1996 beschloss, auf den 31. August 1996 eine Teilliquidation durchzuführen. Mit Verfügung vom 3. Dezember 1996 genehmigte das Departement des Innern des Kantons St. Gallen den Verteilplan, welcher u.a. auch eine Zuteilung von freien Mitteln an die Rentner vorsah. Eine gegen diese Verfügung erhobene Beschwerde hiess die Eidgenössische Beschwerdekommission der beruflichen Alters-, Hinterlassenen- und Invalidenvorsorge mit Urteil vom 26. Februar 1999 gut mit der Folge, dass der von der Teilliquidation betroffene Destinatärkreis neu festzulegen und der Verteilplan zu überarbeiten war. Daraufhin erarbeitete die Expertin für berufliche Vorsorge Y._ drei Varianten für den Verteilplan der freien Mittel. Am 3. Mai 1999 beschloss der Stiftungsrat eine davon und genehmigte die Festlegung der freien Mittel per 31. März 1999 und der Destinatäre, die in den Genuss der freien Mittel kommen. Am 2. Februar 2000 erstellte die Expertin für berufliche Vorsorge Y._ einen "Bericht zur Teilliquidation per 31. März 1999". Darin wurde festgestellt, dass die freien Mittel Fr. 14'571'900.- betragen. Davon seien gemäss dem Verteilschlüssel (Bezugsgrösse: Austrittsleistung per 31. März 1999 bzw. ausgerichtete Austrittsleistung abzüglich der eingebrachten Einlagen [Freizügigkeitsleistungen, Einkaufssummen]) Fr. 6'499'100.- kollektiv oder individuell den Rentnern gutzuschreiben. Der Stiftungsrat beschloss im Februar 2000, den Anteil an den freien Mitteln sowohl den ausscheidenden Versicherten als auch den verbleibenden aktiven Versicherten und Rentenbezügern individuell zuzuweisen. Bei den Rentnern sollten mit dem Anteil an den freien Mitteln die laufenden und anwartschaftlichen Renten lebenslang erhöht werden. Mit Verfügung vom 8. Februar 2000 genehmigte das Amt für berufliche Vorsorge und Stiftungen des Kantons St. Gallen den Verteilplan.
A.b Mit Schreiben vom 18. November 2002 orientierte die Expertin für berufliche Vorsorge Y._ das Amt für berufliche Vorsorge und Stiftungen, dass gemäss versicherungstechnischer Bilanz eine erhebliche Unterdeckung bestehe, schlug Sanierungsmassnahmen vor (Kürzung der Austrittsleistungen und der Renten um 45 %), und forderte die Aufsichtsbehörde auf, rechtsverbindlich Anweisung zu erteilen, die Leistungen wie vorgeschlagen zu kürzen. Nachdem die Aufsichtsbehörde die vorgeschlagenen Massnahmen abgelehnt hatte, wies die Expertin für berufliche Vorsorge Y._ am 13. Dezember 2002 die Aufsichtsbehörde darauf hin, dass sie ihre Verantwortung als Pensionskassenexpertin nicht mehr wahrnehmen könne, und legte ihr Mandat per sofort nieder.
A.c Nachdem die Pensionskasse in der Bilanz per 31. März 2005 einen Deckungsgrad von 86,3 % ausgewiesen hatte, beschloss der Stiftungsrat am 23. August resp. 14. September 2005 einen Massnahmenplan zur Behebung der Unterdeckung, wobei namentlich für eine Dauer von zehn Jahren von allen laufenden Renten ein Rentnerbeitrag von 20 % (mithin beinahe die im Rahmen der Teilliquidation erfolgte Erhöhung der Renten) erhoben wurde. Dieser Rentnerbeitrag wurde inzwischen letztinstanzlich mit Urteil des Bundesgerichts vom 3. Juli 2009 als rechtsgültig erklärt (Verfahren 9C_708/2008, 9C_709/2008, 9C_899/2008 und 9C_904/2008).
B. Die Pensionskasse erhob am 5. Juli 2006 beim Versicherungsgericht des Kantons St. Gallen Klage auf Verantwortlichkeit gemäss Art. 52 BVG gegen die Expertin für berufliche Vorsorge Y._ mit dem Rechtsbegehren, ihr einen Betrag nach richterlichem Ermessen, eventualiter den Betrag von Fr. 6'499'100.- nebst Zins zu 5 % seit 1. September 1996 zu bezahlen. Das Versicherungsgericht bejahte mit Zwischenentscheid vom 19. Oktober 2007 seine Zuständigkeit und wies nach zweifachem Schriftenwechsel mit Entscheid vom 3. April 2009 und Ergänzungsentscheid vom 21. April 2009 die Klage ab.
C. Die Pensionskasse erhebt Beschwerde in öffentlichrechtlichen Angelegenheiten und erneuert das vorinstanzlich gestellte Rechtsbegehren. Auf die Durchführung eines Schriftenwechsels wurde verzichtet (Art. 102 Abs. 1 in initio BGG).
Erwägungen:
1. Das Berufsvorsorgegericht ist sachlich zuständig für Verantwortlichkeitsansprüche nach Art. 52 BVG (Art. 73 Abs. 1 lit. c BVG [SR 831.40]). Die örtliche Zuständigkeit der Vorinstanz wurde mit rechtskräftigem Zwischenentscheid vom 19. Oktober 2007 bejaht und steht nicht mehr zur Diskussion (Art. 92 Abs. 2 BGG). Die Beschwerde in öffentlichrechtlichen Angelegenheiten ist zulässig (Art. 82 lit. a BGG). Auf das Rechtsmittel ist einzutreten.
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Urteil 9C_294/2007 vom 10. Oktober 2007 E. 2 mit Hinweis; vgl. BGE 132 II 257 E. 2.5 S. 262;130 III 136 E. 1.4 S. 140).
3. Die Beschwerdeführerin gründet ihren Anspruch gegen die Beschwerdegegnerin auf Art. 52 BVG.
3.1 Alle mit der Verwaltung, Geschäftsführung oder Kontrolle der Vorsorgeeinrichtung betrauten Personen sind für den Schaden verantwortlich, den sie ihr absichtlich oder fahrlässig zufügen (Art. 52 Abs. 1 BVG). Zu den mit der Kontrolle betrauten Personen im Sinne dieser Bestimmung gehört auch der Experte für berufliche Vorsorge (MARTIN TH. MARIA EISENRING, Die Verantwortlichkeit für Vermögensanlagen von Vorsorgeeinrichtungen, 1999, S. 221; THOMAS GEISER, Haftung für Schäden der Pensionskassen: Überblick über die Haftungsregeln bei der 2. Säule, in: Mélanges en l'honneur de Jean-Louis Duc, 2001, S. 86 f. [zit.: Haftung]; derselbe, Zivilrechtliche Verantwortlichkeit des Stiftungsrates in der 2. Säule, SZS 2005 S. 358 [zit.: Verantwortlichkeit]; CARL HELBLING, Personalvorsorge und BVG, 8. Aufl. 2006, S. 704; HELBLING/WYLER-SCHMELZER, Zur Verantwortlichkeit des Stiftungsrates, ST 2002 S. 11; RIEMER/RIEMER-KAFKA, Das Recht der beruflichen Vorsorge in der Schweiz, 2. Aufl. 2006, S. 57 f.; Hans-Ulrich Stauffer, Berufliche Vorsorge, 2005, S. 535 Rz. 1418).
3.2 Die Beschwerdeführerin hat ihre Klage wie folgt begründet: Die Beschwerdegegnerin habe bereits 1997 erkannt, dass durch die im Rahmen der Teilliquidation vorgesehenen Leistungsverbesserungen die finanzielle Lage der Pensionskasse verschlechtert würde. Trotzdem habe sie im Zusammenhang mit den Beschlüssen vom 3. Mai 1999 und Februar 2000 vor einer individuellen Verteilung der freien Mittel an die Rentner nicht gewarnt, sondern dem Stiftungsrat beantragt, bei den Rentenbezügern die Renten lebenslang zu erhöhen, was dieser auf Antrag der BVG-Expertin beschlossen habe, wodurch den Rentnern insgesamt Fr. 6'499'100.- zugeteilt worden seien. Eine Erhöhung der Rentenleistungen zu Gunsten der bereits vorhandenen Rentner aus freien Mitteln sei jedoch unzulässig gewesen. Der Stiftungsrat habe somit einen gesetzwidrigen Beschluss gefasst, der zu einer entsprechenden Verminderung der Aktiven der Pensionskasse geführt habe. Abgesehen davon, dass die Zuteilung freier Mittel grundsätzlich gesetzwidrig sei, seien mit den Stiftungsratsbeschlüssen von 1999 und 2000 wider besseres Wissen der Beschwerdegegnerin generell zu viele Mittel verteilt worden, was zu einer massiven Unterdeckung bei der Beschwerdeführerin geführt habe. Die BVG-Expertin habe gewusst, dass sich der Stiftungsrat auf ihr fachkundiges Urteil verlassen würde, und dennoch die entsprechenden Vorschläge gemacht.
3.3 Die Vorinstanz erwog, es könne offen bleiben, ob überhaupt ein Schaden vorliege, was die Beklagte bestreite, weil die von der Beschwerdeführerin geltend gemachte Vermögensverminderung in einer Zahlung an die Destinatäre bestehe, was dem Stiftungszweck der Beschwerdeführerin entspreche. So oder so fehle es an einem widerrechtlichen Handeln der Beklagten: Entgegen der Auffassung der Pensionskasse sei es nämlich nicht gesetzwidrig, bei einer Teilliquidation auch den Rentnern einen Anteil an den freien Mitteln zu gewähren. Die Expertin für berufliche Vorsorge habe im Bericht zu der (in der Folge nicht durchgeführten) Teilliquidation per 1. September 1996 nicht eine individuelle, sondern eine kollektive Gutschrift von freien Mitteln an die Rentner beantragt. Der Stiftungsrat habe aber selbständig, d.h. nicht auf Antrag der Beklagten bzw. gegen deren Empfehlung, eine individuelle Verteilung beschlossen. Mit dem Urteil der Beschwerdekommission vom 26. Februar 1999 sei nur die Neudefinition des Destinatärkreises und die entsprechende Überarbeitung des Verteilungsplanes angeordnet worden. Der Beschluss des Stiftungsrates vom 6. November 1996, worin eine Rentenerhöhung beschlossen worden sei, sei aber durch das Urteil nicht geändert worden. Der Stiftungsrat habe denn auch im Mai 1999 ohne entsprechende vorgängige Empfehlung bzw. Mitwirkung der Beklagten beschlossen, an der Rentenerhöhung festzuhalten. Diese sei nicht beauftragt worden, einen Antrag über die grundsätzliche Art der Verteilung der freien Mittel zu stellen; sie habe nur Varianten für die Verteilung vorgeschlagen. Der BVG-Expertin könne nicht vorgeworfen werden, sie habe die erfolgte Verteilung nicht abgemahnt, hätte doch eine solche Abmahnung überwiegend wahrscheinlich keine Rückgängigmachung des Beschlusses vom 3. Mai 1999 zur Folge gehabt. Zudem sei die Pensionskasse auch über ihre Finanzlage und Deckungskapitalberechnung informiert gewesen. Der Beklagten könne keine Informationspflichtverletzung vorgeworfen werden. Weiter habe bei Abschluss der Teilliquidation noch keine Unterdeckung bestanden; eine solche sei erst nachher aufgrund mehrerer Ursachen aufgetreten. Für die Teilliquidation seien seit 1997 Rückstellungen von insgesamt 14 Mio. Franken bilanziert worden; die Durchführung der Teilliquidation als solche habe daher nicht zu einer Verschlechterung des Deckungsgrades geführt. Der Nachweis, dass die Handlungsweise der BVG-Expertin überwiegend wahrscheinlich zu einer Unterdeckung geführt habe, könne daher nicht als erbracht gelten. Die individuelle Verwendung der freien Mittel für Rentenerhöhungen sei von der Beklagten weder beantragt noch befürwortet worden. Insgesamt sei deren Verhalten nicht widerrechtlich, verletze keine Sorgfaltspflicht und sei auch nicht schuldhaft. Schliesslich wäre eine natürliche Kausalität zwischen dem Verhalten und dem geltend gemachten Schaden zu verneinen.
4. Die Beschwerdeführerin wirft der Vorinstanz in verschiedener Hinsicht eine offensichtlich unrichtige Sachverhaltsfeststellung vor.
4. Die Beschwerdeführerin wirft der Vorinstanz in verschiedener Hinsicht eine offensichtlich unrichtige Sachverhaltsfeststellung vor.
4.1 4.1.1 Die Pensionskasse rügt zunächst die vorinstanzliche Feststellung, der Stiftungsrat habe im Mai 1999 ohne entsprechende vorgängige Empfehlung der BVG-Expertin den Beschluss gefasst, an der Rentenerhöhung auf 1. September 1996 festzuhalten. In Wirklichkeit hätten die Vertreter der Beschwerdegegnerin an der Sitzung vom 3. Mai 1999, wo über die Neuverteilung der freien Mittel beraten und beschlossen worden sei, teilgenommen und nicht gegen die individuelle Verteilung der freien Mittel protestiert oder abgemahnt. Die Beschwerdegegnerin habe vielmehr die individuelle Zuteilung der freien Mittel gebilligt und empfohlen.
4.1.2 Dass die Vertreter der Beschwerdegegnerin an der Sitzung vom 3. Mai 1999 teilgenommen haben, ist durch das Protokoll dieser Sitzung bestätigt, wird aber auch durch die Vorinstanz nicht in Abrede gestellt; im Gegenteil führt diese aus, an dieser Sitzung habe die Beschwerdegegnerin drei Varianten für den Verteilplan unterbreitet. Die Feststellung der Vorinstanz, der Beschluss, an der Rentenerhöhung festzuhalten, sei "ohne entsprechende vorgängige Empfehlung bzw. Mitwirkung der Beklagten", erfolgt, lässt sich in der Tat in dieser Form aus den Akten nicht belegen. Umgekehrt lässt sich aber auch nicht belegen, dass die BVG-Expertin eine entsprechende Empfehlung abgegeben habe. Der konkrete Verlauf dieser Sitzung wurde im vorinstanzlichen Verfahren von den Parteien kontrovers dargestellt und lässt sich im Detail aus dem knappen Protokoll nicht feststellen. Eine entsprechende Empfehlung ist jedenfalls in den Akten nicht ausgewiesen.
4.1.2 Dass die Vertreter der Beschwerdegegnerin an der Sitzung vom 3. Mai 1999 teilgenommen haben, ist durch das Protokoll dieser Sitzung bestätigt, wird aber auch durch die Vorinstanz nicht in Abrede gestellt; im Gegenteil führt diese aus, an dieser Sitzung habe die Beschwerdegegnerin drei Varianten für den Verteilplan unterbreitet. Die Feststellung der Vorinstanz, der Beschluss, an der Rentenerhöhung festzuhalten, sei "ohne entsprechende vorgängige Empfehlung bzw. Mitwirkung der Beklagten", erfolgt, lässt sich in der Tat in dieser Form aus den Akten nicht belegen. Umgekehrt lässt sich aber auch nicht belegen, dass die BVG-Expertin eine entsprechende Empfehlung abgegeben habe. Der konkrete Verlauf dieser Sitzung wurde im vorinstanzlichen Verfahren von den Parteien kontrovers dargestellt und lässt sich im Detail aus dem knappen Protokoll nicht feststellen. Eine entsprechende Empfehlung ist jedenfalls in den Akten nicht ausgewiesen.
4.2 4.2.1 Die Beschwerdeführerin kritisiert weiter die Aussage der Vorinstanz, der Bericht der Beschwerdegegnerin vom 2. Februar 2000 habe eine Empfehlung zur individuellen Verteilung der freien Mittel nicht enthalten. In Wirklichkeit habe die Beschwerdegegnerin mit der in diesem Bericht enthaltenen Formulierung ("Den [...] Rentnern kann der Anteil auf freie Mittel [...] kollektiv oder individuell gutgeschrieben werden.") eine Empfehlung zur individuellen Verteilung erteilt. Sie habe die individuelle Gutschrift nicht bekämpft, sondern ausdrücklich befürwortet und damit zu ihrem eigenen möglichen Antrag gemacht.
4.2.2 Die Vorinstanz und die Beschwerdeführerin geben die betreffende Formulierung im Bericht übereinstimmend wieder. Die Aussage der Vorinstanz, dies sei nicht eine Empfehlung zur individuellen Verteilung, sondern weise bloss auf diese Möglichkeit hin, ist eine Interpretation dieser Formulierung, die nicht offensichtlich unrichtig ist (E. 2), sondern im Gegenteil dem unbefangenen Leser nahe liegt; wenig plausibel erscheint eher die von der Beschwerdeführerin vertretene Interpretation, wonach die Darstellung von zwei Möglichkeiten zugleich eine Empfehlung oder ausdrückliche Befürwortung für die eine der beiden darstellen soll. Zutreffend ist, dass aus den Akten kein Hinweis ersichtlich ist, wonach in der fraglichen Zeit die Beschwerdegegnerin die individuelle Gutschrift aktiv bekämpft habe; solches hat die Vorinstanz aber auch nicht festgestellt.
4.2.2 Die Vorinstanz und die Beschwerdeführerin geben die betreffende Formulierung im Bericht übereinstimmend wieder. Die Aussage der Vorinstanz, dies sei nicht eine Empfehlung zur individuellen Verteilung, sondern weise bloss auf diese Möglichkeit hin, ist eine Interpretation dieser Formulierung, die nicht offensichtlich unrichtig ist (E. 2), sondern im Gegenteil dem unbefangenen Leser nahe liegt; wenig plausibel erscheint eher die von der Beschwerdeführerin vertretene Interpretation, wonach die Darstellung von zwei Möglichkeiten zugleich eine Empfehlung oder ausdrückliche Befürwortung für die eine der beiden darstellen soll. Zutreffend ist, dass aus den Akten kein Hinweis ersichtlich ist, wonach in der fraglichen Zeit die Beschwerdegegnerin die individuelle Gutschrift aktiv bekämpft habe; solches hat die Vorinstanz aber auch nicht festgestellt.
4.3 4.3.1 Die Beschwerdeführerin kritisiert weiter die vorinstanzliche Aussage, es könne der Beschwerdegegnerin nicht zum Vorwurf gemacht werden, sie mit dem Bericht vom 2. Februar 2000 nicht von einer individuellen Verteilung der freien Mittel abgemahnt zu haben; eine solche Abmahnung hätte überwiegend wahrscheinlich keine Rückgängigmachung des Beschlusses vom 3. Mai 1999 zur Folge gehabt. In Wirklichkeit habe die BVG-Expertin im entscheidenden Moment (Sitzung vom 3. Mai 1999) den 1996 noch gemachten Vorschlag auf kollektive Gutschrift nicht mehr vorgebracht und damit die entscheidende Alternative zur individuellen Verteilung nicht aufgezeigt. Sie habe auch auf die dadurch entstehende Deckungslücke nicht aufmerksam gemacht.
4.3.2 Es trifft zu, dass eine Empfehlung der Beschwerdegegnerin, auf die individuelle Verteilung zu verzichten, im streitigen Zeitraum nicht aktenkundig ist; eine solche hat die Vorinstanz aber auch nicht festgestellt. Deren Auffassung, die Unterlassung einer Abmahnung könne der Beschwerdegegnerin nicht zum Vorwurf gemacht werden, ist nicht eine Sachverhaltsfeststellung, sondern eine rechtliche Würdigung (dazu E. 5.4, 6 und 7). Die Aussage, eine Abmahnung hätte überwiegend wahrscheinlich keine Rückgängigmachung des Beschlusses vom 3. Mai 1999 zur Folge gehabt, ist eine auf Würdigung der konkreten Lage gründende Feststellung eines hypothetischen Sachverhalts und als solche nicht offensichtlich unrichtig (E. 2).
4.3.2 Es trifft zu, dass eine Empfehlung der Beschwerdegegnerin, auf die individuelle Verteilung zu verzichten, im streitigen Zeitraum nicht aktenkundig ist; eine solche hat die Vorinstanz aber auch nicht festgestellt. Deren Auffassung, die Unterlassung einer Abmahnung könne der Beschwerdegegnerin nicht zum Vorwurf gemacht werden, ist nicht eine Sachverhaltsfeststellung, sondern eine rechtliche Würdigung (dazu E. 5.4, 6 und 7). Die Aussage, eine Abmahnung hätte überwiegend wahrscheinlich keine Rückgängigmachung des Beschlusses vom 3. Mai 1999 zur Folge gehabt, ist eine auf Würdigung der konkreten Lage gründende Feststellung eines hypothetischen Sachverhalts und als solche nicht offensichtlich unrichtig (E. 2).
4.4 4.4.1 Die Beschwerdeführerin wirft der Vorinstanz sodann vor, sie habe nicht abgeklärt, ob die Reservebildung genügend gewesen sei. In Wirklichkeit seien zu viele freie Mittel verteilt bzw. zu wenig Rückstellungen gebildet worden. Es sei daher durch Expertise abzuklären, in welchem Umfang Rückstellungen hätten gebildet werden müssen.
4.4.2 Wie viele Rückstellungen gebildet wurden, ist aktenkundig und nicht umstritten. Ob sie genügend waren, ist in erster Linie nicht eine Frage der Sachverhaltsfeststellung, sondern der rechtlichen Beurteilung (vgl. E. 7).
5. In rechtlicher Hinsicht rügt die Beschwerdeführerin, die Vorinstanz habe zu Unrecht Art. 52 BVG als Deliktshaftung betrachtet; es handle sich dabei um eine vertragliche Haftung; das Verhalten der Beschwerdegegnerin sei vertragswidrig gewesen.
5.1 Die Vorinstanz hat unter Berufung auf BGE 128 V 124 ausgeführt, zu den Voraussetzungen der Haftung nach Art. 52 BVG gehöre u.a. die Widerrechtlichkeit. Widerrechtlichkeit liege vor, wenn die sich aus Gesetz und Verordnungen, aus der Stiftungsurkunde und den Reglementen, den Beschlüssen des Stiftungsrates, einem Vertragsverhältnis sowie den Weisungen der Aufsichtsbehörden ergebenden Pflichten, wozu auch die allgemeine Sorgfaltspflicht gehöre, verletzt würden. Der erwähnte Bundesgerichtsentscheid wurde in der Lehre teilweise kritisiert, weil er die Haftung nach Art. 52 BVG in eine Deliktshaftung umgewandelt habe, während diese in Wirklichkeit eine vertragliche Haftung sei, so dass nicht eine Widerrechtlichkeit, sondern eine Vertragsverletzung zu prüfen sei (HANS MICHAEL RIEMER, Urteilsanmerkungen zu BGE 128 V 124-134, SZS 2003 S. 368 f.; UELI KIESER, Verantwortlichkeit nach Art. 52 BVG - eine Auslegeordnung, in: Aktuelle Fragen der beruflichen Vorsorge, 2008, S. 132 f. und 136). Ebenfalls eine vertragliche Haftung nimmt STAUFFER, a.a.O., S. 535 Rz. 1418, an, während andere Autoren von einer unmittelbar gesetzlichen Haftung (EISENRING, a.a.O., S. 175; ISABELLE VETTER-SCHREIBER, Berufliche Vorsorge, 2009, S. 155 Rz. 1) und einem widerrechtlichen Verhalten als Haftungsvoraussetzung (GEISER, Haftung, a.a.O. S. 75; derselbe, Verantwortlichkeit, a.a.O., S. 346 f.) sprechen.
5.2 Der Unterschied in der dogmatischen Konzeption ist zumindest in der hier vorliegenden Konstellation nicht entscheidend für das Ergebnis: Zur Begründung einer Widerrechtlichkeit im Sinne der Deliktshaftung ist bei den hier geltend gemachten reinen Vermögensschäden die Verletzung einer Rechtsnorm erforderlich, welche den Schutz des verletzten Rechtsgutes bezweckt (Urteil 4A_21/2008 vom 13. Juni 2008 E. 3.1, nicht publ. in: BGE 134 III 529; BGE 133 III 323 E. 5.1 S. 330; 132 III 122 E. 4.1 S. 130; 124 III 297 E. 5b S. 301). Als solche Rechtsvorschriften kommen in erster Linie diejenigen in Frage, welche die Aufgaben des Experten für berufliche Vorsorge regeln (E. 5.3). Für eine vertragliche Haftung ist eine Vertragsverletzung erforderlich. Mit dem Auftrag, mit welchem die Beschwerdegegnerin die Aufgabe des Experten für berufliche Vorsorge bei der Beschwerdeführerin übernommen hat, hat sie sich verpflichtet, dieses Amt pflichtgetreu und sachgemäss auszuüben, das heisst namentlich diejenigen Aufgaben sorgfältig wahrzunehmen, die gemäss dem zwingenden öffentlichen Recht diesem Experten obliegen. Das Bundesgericht hat denn auch ungeachtet der Bezeichnung als Widerrechtlichkeit oder Pflichtwidrigkeit das haftungsbegründende Verhalten im Rahmen von Art. 52 BVG danach beurteilt, ob die einschlägigen berufsvorsorgerechtlichen Vorschriften missachtet wurden (BGE 128 V 124 E. 4d S. 129; TrEx 2006 S. 298, B 99/05 E. 4.3; Urteil 9C_579/2007 vom 18. März 2008 E. 4; ebenso in der Lehre EISENRING, a.a.O., S. 193 ff.; GEISER, Verantwortlichkeit, a.a.O., S. 346 f.; HELBLING, a.a.O., S. 720; HELBLING/WYLER, a.a.O., S. 12). Sowohl unter dem Aspekt einer deliktsrechtlichen Widerrechtlichkeit als auch einer vertragsrechtlichen Pflichtverletzung ist gleichermassen ausschlaggebend, ob die Beschwerdegegnerin die ihr gesetzlich obliegenden Aufgaben korrekt wahrgenommen hat.
5.3 Die Vorsorgeeinrichtungen haben durch einen anerkannten Experten für berufliche Vorsorge periodisch überprüfen zu lassen, ob sie jederzeit Sicherheit dafür bieten, dass sie ihre Verpflichtungen erfüllen können und ob die reglementarischen versicherungstechnischen Bestimmungen über die Leistungen und die Finanzierung den gesetzlichen Vorschriften entsprechen (Art. 53 Abs. 2 BVG). Der Experte muss unabhängig sein. Er darf gegenüber Personen, die für die Geschäftsführung oder Verwaltung der Vorsorgeeinrichtung verantwortlich sind, nicht weisungsgebunden sein (Art. 40 BVV 2 [SR 831.441.1]). Er muss bei der Ausübung seines Mandates die Weisungen der Aufsichtsbehörde befolgen und diese unverzüglich orientieren, wenn die Lage der Vorsorgeeinrichtung ein rasches Einschreiten erfordert oder wenn sein Mandat abläuft (Art. 41 BVV 2). Die Aufgaben des Experten für berufliche Vorsorge unterscheiden sich demnach von denjenigen der Kontrollstelle (Art. 53 Abs. 1 BVG; Art. 35 ff. BVV 2; vgl. Urteil 2A.508/2003 vom 12. November 2004 E. 4; im Einzelnen vgl. EISENRING, a.a.O., S. 43 ff.; HELBLING, a.a.O., S. 711 ff.). Ratione temporis auf den hier zu beurteilenden Sachverhalt noch nicht anwendbar ist Art. 41a BVV 2, welcher die besonderen Aufgaben des Experten bei Unterdeckung regelt.
5.4 Aufgrund des verbindlichen Sachverhalts (E. 4) steht fest, dass die Beschwerdegegnerin im Zeitraum vom Mai 1999 bis Februar 2000, als die Pensionskasse eine Rentenerhöhung aus freien Mitteln beschloss, zwar diese Lösung nicht empfohlen, davon aber auch nicht aktiv abgeraten hat. Im Folgenden zu prüfende Rechtsfrage ist, ob sie aufgrund ihrer gesetzlichen Aufgaben und vertraglichen Sorgfaltspflichten zu einer solchen Abmahnung verpflichtet gewesen wäre.
6. Die Pensionskasse macht geltend, die Erhöhung der laufenden Renten aus freien Mitteln sei gesetzwidrig gewesen. Trifft diese Auffassung zu, wäre die Beschwerdegegnerin verpflichtet gewesen, sie darauf hinzuweisen (Art. 53 Abs. 2 lit. b BVG).
6.1 Die Gesetzmässigkeit des streitigen Beschlusses beurteilt sich nach der Rechtslage, wie sie im massgeblichen Zeitpunkt (1999/2000) galt. Art. 23 Abs. 1 FZG (in der bis 31. Dezember 2004 geltenden Fassung [AS 1994 2386; SR 831.42]) lautete: "Bei einer Teil- oder Gesamtliquidation der Vorsorgeeinrichtung besteht neben dem Anspruch auf die Austrittsleistung ein individueller oder ein kollektiver Anspruch auf freie Mittel. Die Aufsichtsbehörde entscheidet darüber, ob die Voraussetzungen für eine Teil- oder Gesamtliquidation erfüllt sind. Sie genehmigt den Verteilungsplan."
6.2 Die Beschwerdeführerin stützt ihre Auffassung auf ein von ihr im vorinstanzlichen Verfahren eingereichtes Gutachten des Prof. Hans Michael Riemer vom 8. April 2004. Dieser argumentiert, der Anspruch auf freie Mittel sei in Art. 23 FZG im Zusammenhang mit der Teilliquidation geregelt und ausschliesslich ein Element der Freizügigkeitsleistungen; solche stünden nur den aktiven Versicherten zu, nicht aber den Rentnern (Art. 2 Abs. 1 FZG). Diese seien im Falle eine Teilliquidation nur (aber immerhin) insofern von Bedeutung, als die bestehenden Rentenverpflichtungen mit dem verbleibenden Kapital erfüllt werden können müssen.
6.3 Demgegenüber hat die Beschwerdegegnerin im vorinstanzlichen Verfahren gestützt auf eine von ihr eingereichte Stellungnahme von Dr. Hermann Walser vom 6. Oktober 2006 die Auffassung vertreten, dass Art. 23 FZG nicht abschliessend die Verteilung freier Mittel regle, sondern nur für einen bestimmten Fall (Teilliquidation) und für eine bestimmte Destinatärskategorie (ausscheidende Aktive) einen Anspruch festhalte, der aufgrund des Rechtsgleichheitsgebots generell bestehe. Eine individuelle Verteilung freier Mittel an die Rentner sei ohne weiteres zulässig.
6.4 Auch ausserhalb einer (in Art. 23 FZG geregelten) Liquidation können freie Mittel verteilt werden (Mitteilungen über die berufliche Vorsorge Nr. 51 Ziff. 303; Urteil 2A.539/1997 vom 30. April 1998 E. 3c/aa), wobei ebenfalls das Rechtsgleichheitsgebot zu beachten ist (vgl. BGE 133 V 607 E. 4.2.1 S. 610 f.). Sowohl bei einer Teilliquidation als auch bei einer Verteilung ausserhalb einer solchen müssen aufgrund der Rechtsgleichheit auch die Rentner berücksichtigt werden (vgl. BGE 131 II 514 E. 4 S. 519 und 5.3 S. 521; PETER DÜGGELI, Teilliquidation - Ein Testfall für den Schutz der Destinatärrechte, SPV 1997 S. 795 ff.; CHRISTINA RUGGLI-WÜEST, Teilliquidation und Liquidation: Die vergessene Gruppe der Rentner, SPV 2002 S. 959 f.; JACQUES-ANDRÉ SCHNEIDER, Fonds libres et liquidations de caisses de pensions, SZS 2001 S. 466; VETTER-SCHREIBER, a.a.O., S. 42 f. Rz. 37 und S. 162 f. Rz. 2). Das bedeutet freilich nicht, dass die in der Vorsorgeeinrichtung verbleibenden Rentner einen Anspruch auf individuelle Zuteilung freier Mittel haben. Einen auf Art. 23 FZG oder allenfalls auf das vorsorge- und stiftungsrechtliche Gleichbehandlungsgebot gestützten Anspruch auf (individuelle oder kollektive) Mitgabe der freien Mittel haben nur die Austretenden (heute Art. 27g Abs. 1 BVV 2; SCHNEIDER, a.a.O., S. 469; FRITZ STEIGER, Die Teilliquidation nach Artikel 53b BVG, AJP 2007 S. 1061 f.), während die Interessen der in der Vorsorgeeinrichtung verbleibenden Destinatäre (Aktive wie Rentner) in der Regel nicht durch individuelle Zusprachen gewahrt werden (BGE 131 II 533 E. 7.2 S. 540), sondern dadurch, dass der auf sie entfallende Anteil der freien Mittel als solche im Vermögen der Vorsorgeeinrichtung verbleibt und dort für die Erhaltung des bisherigen Vorsorgeschutzes und allfällige künftige Leistungsverbesserungen zur Verfügung steht, insbesondere für die nicht absolut, sondern nur nach Massgabe der finanziellen Möglichkeiten vorgeschriebenen Teuerungsanpassungen nach Art. 36 Abs. 2 BVG (BRUNO LANG, Die Rolle der Beteiligten an der Teilliquidation von Pensionskassen, SZS 2000 S. 431; RUGGLI-WÜEST, a.a.O., S. 960; vgl. auch STEIGER, a.a.O., S. 1060 f.).
Da die Destinatärsgruppen nur relativ, aber nicht absolut gleich zu behandeln sind (BGE 131 II 533 E. 5.3 S. 537 f.), kann auch eine unterschiedliche Behandlung von Aktiven und Rentnern zulässig sein, denn mit der Realisierung des Vorsorgefalls haben die Rentner anstelle der Anwartschaften (auf freie Mittel) subjektive Rechtsansprüche erworben, so dass sie durch Vorgänge in der Stifterfirma in ihrer Rechtsstellung grundsätzlich (vgl. Urteil 9C_708/2008 vom 3. Juli 2009 E. 11) nicht mehr tangiert werden (SCHNEIDER, a.a.O., S. 466; VETTER-SCHREIBER, a.a.O., S. 168 Rz. 25; BRUNO LANG, Die Rolle der Beteiligten an der Teilliquidation von Pensionskassen, ST 2000 S. 490; vgl. auch Urteil 2A.402/2005 vom 15. Februar 2006 E. 4, welcher Fall allerdings eine patronale Stiftung betraf). Denkbar ist auch, nur den aus der Vorsorgeeinrichtung austretenden Rentnern individuell freie Mittel zuzuteilen (vgl. BGE 131 II 533 E. 7.2 S. 540; Urteil 9C_436/2007 vom 6. Dezember 2007 E. 5.3.1; VETTER-SCHREIBER, a.a.O., S. 174 f. Rz. 18; in diesem Sinne wohl auch STAUFFER, a.a.O., S. 439 Rz. 1172).
Die im Rahmen der Teilliquidation erfolgte individuelle Rentenerhöhung war somit jedenfalls nicht gesetzlich vorgeschrieben (Urteil 9C_708/2008 vom 3. Juli 2009 E. 10.2). Das bedeutet allerdings nicht, dass sie nicht zulässig gewesen wäre. Namhafte Stimmen halten es im Rahmen des den Stiftungsorganen zustehenden Ermessens für zulässig, laufende Renten (auch über die Teuerung hinaus) zu erhöhen (Gemischte Kommission der Treuhand-Kammer und der Schweizerischen Aktuarvereinigung [Hrsg.], Leitfaden zur Teilliquidation, 2001, S. 26; THOMAS GEISER, Teilliquidationen bei Pensionskassen, ST 2007 S. 90; RUTH HUSER, Strategie zur Verwendung von freien Mitteln einer PVE, ST 2000 S. 478). Eine bundesgerichtliche und - soweit ersichtlich - auch eine erstinstanzliche gerichtliche Beurteilung der Zulässigkeit einer Rentenerhöhung aus freien Mitteln lag jedenfalls im hier interessierenden Zeitraum nicht vor. Auch aus dem von der Beschwerdeführerin zitierten BGE 128 V 124 ergibt sich eine solche Aussage nicht.
6.5 Die Frage der Zulässigkeit der individuellen Verteilung freier Mittel durch Rentenerhöhung kann letztlich jedoch aus folgendem Grund offen bleiben: Im Rahmen des Berichts zur Teilliquidation per 1. September 1996 hatte die Beschwerdegegnerin nur für die austretenden (sowie die seit 1. Januar 1994, d.h. seit Beginn der Umstrukturierungen der Stifterfirma ausgetretenen) Versicherten eine Erhöhung der Austrittsleistung aus freien Mitteln vorgeschlagen; für die in der Pensionskasse verbleibenden aktiven Versicherten und Rentner sollte der entsprechende Anteil an den freien Mitteln zurückgestellt werden; mit diesem Anteil könnten Leistungsverbesserungen für die aktiven Versicherten geprüft und Rückstellungen für künftige Teuerungsanpassungen für die Rentenbezüger gebildet werden. Entgegen diesem Vorschlag beschloss der Stiftungsrat am 6. November 1996, den Anteil an den freien Mitteln (u.a.) direkt den Rentenbezügern in Form von Rentenerhöhungen zukommen zu lassen. Der Verteilplan und damit auch der Grundsatz der individuellen Rentenerhöhungen wurde von der Aufsichtsbehörde mit Verfügung vom 3. Dezember 1996 genehmigt. Diese Verfügung wurde in der Folge angefochten mit dem Antrag, auch die in den Jahren 1992 und 1993 entlassenen Arbeitnehmer seien in den Verteilplan aufzunehmen. Die Eidgenössische Beschwerdekommission der beruflichen Alters-, Hinterlassenen- und Invalidenvorsorge hiess die Beschwerde mit Entscheid vom 26. Februar 1999 gut; das führte dazu, dass der von der Teilliquidation betroffene Destinatärskreis neu definiert und der Verteilplan entsprechend überarbeitet werden musste. Abgesehen davon blieb jedoch die Genehmigungsverfügung vom 3. Dezember 1996 weiterhin in Kraft. Der darin genehmigte grundsätzliche Beschluss, die Renten individuell zu erhöhen, bildete deshalb nicht mehr Gegenstand des neu zu fassenden Stiftungsratsbeschlusses; dieser konnte sich nur noch darauf beziehen, die aufgrund des Urteils der Beschwerdekommission neu zu berücksichtigenden Destinatäre in die Verteilung einzubeziehen; darauf beschränkte sich denn auch die Diskussion und Beschlussfassung an der Stiftungsratssitzung vom 3. Mai 1999. Stützt sich somit die im Jahre 1999/2000 vorgenommene individuelle Rentenerhöhung auf einen insoweit rechtskräftigen und verbindlichen Entscheid der Aufsichtsbehörde, so kann der Beschwerdegegnerin nicht vorgeworfen werden, dass sie die Rechtmässigkeit der individuellen Zuteilung durch Rentenerhöhung nicht mehr in Frage stellte, zumal die Zulässigkeit eines solchen Vorgehens weder vom Gesetz noch von der damaligen Lehre oder Judikatur klar bezweifelt wurde (E. 6.4).
7. Die Pensionskasse wirft der Beschwerdegegnerin sodann vor, die Rückstellungen resp. Reservebildungen im Hinblick auf die Teilliquidation vom 31. März 1999 nicht richtig berechnet zu haben. Es seien im Rahmen der Teilliquidation gestützt auf die Beratung durch die Expertin für berufliche Vorsorge und wider deren besseres Wissen zu viele freie Mittel verteilt worden, was die jetzige Unterdeckung zur Folge gehabt habe; richtigerweise hätten höhere Reserven und Rückstellungen gebildet werden müssen.
7.1 Nach Art. 53 Abs. 2 lit. a BVG muss der Experte für berufliche Vorsorge periodisch überprüfen, ob die Vorsorgeeinrichtung jederzeit Sicherheit dafür bietet, dass sie ihre Verpflichtungen erfüllen kann. Die Beschwerdegegnerin hat vorinstanzlich eingeräumt, dass sie auch im Zusammenhang mit der Teilliquidation beauftragt worden war, das notwendige Deckungskapital zu berechnen. Ein pflichtwidriges bzw. widerrechtliches Verhalten der Beschwerdegegnerin könnte vorliegen, wenn diese die finanzielle bzw. versicherungstechnische Lage der Beschwerdeführerin falsch beurteilt hätte, weil die Beschwerdeführerin damit nicht in der Lage war abzuschätzen, ob sie die infolge der Rentenerhöhungen resultierenden Verpflichtungen würde erfüllen können.
7.2 In dem von der Kontrollstelle erstellten Zwischenabschluss per 31. August 1996 wurde ein freies Stiftungsvermögen von Fr. 15'817'963.82 ausgewiesen. Die Beschwerdegegnerin errechnete in ihrem Teilliquidationsbericht vom 26. September 1996 per 1. September 1996 bei einem Deckungskapital von Fr. 30'252'050.55 (Aktive und Rentner) freie Mittel von Fr. 14'159'005.52. Sie schlug vor, davon Fr. 4'648'858.50 an die ausgetretenen Versicherten zu verteilen (Erhöhung der Freizügigkeitsleistung) und die Restanz von Fr. 9'510'147.02 für die in der Pensionskasse verbleibenden Aktiven und Rentner zurückzustellen. Nachdem der Stiftungsrat am 6. November 1996 entgegen diesem Vorschlag beschlossen hatte, diesen Betrag nicht zurückzustellen, sondern den verbleibenden Versicherten direkt zukommen zu lassen, führte die Beschwerdegegnerin in ihrem Bericht vom 25. März 1997 zu Handen der Aufsichtsbehörde aus, durch die hohe Leistungsverbesserung im Rahmen der (damals per 31. August 1996 vorgesehenen) Teilliquidation sei die Beschwerdeführerin aller ihrer Reserven und Rückstellungen beraubt worden. Isoliert vom Wohlfahrtsfonds ergebe sich ein Deckungsgrad von 91,6 % und ein zusätzlicher Rückstellungsbedarf von 2,8 Mio. Franken. Die Aufsichtsbehörde bemängelte in ihrer Stellungnahme vom 2. April 1997, es sei nicht objektiv abgeklärt worden, ob genügend Mittel für eine Teilliquidation vorhanden gewesen seien.
7.3 Im Jahresabschluss 1998 wurde ein Deckungskapital (Aktive und Rentner, inkl. erhöhte Lebenserwartung) von Fr. 30'191'700.- ausgewiesen und zusätzlich eine Rückstellung von 9,2 Mio. Franken für die Erhöhung des Deckungskapitals für Aktive und Rentner (nebst einer Rückstellung von 4,8 Mio. Franken für die Nachzahlung von Freizügigkeitsleistungen aus Teilliquidation). Gemäss dem von der Beschwerdegegnerin erstellten und von der Kontrollstelle geprüften Zwischenabschluss per 31. März 1999 betrug das Deckungskapital (Aktive und Rentner mit Einschluss Erhöhung Lebenserwartung) Fr. 28'104'600.-. Zusätzlich wurden nach wie vor die Rückstellungen von 14 Mio. Franken für die Teilliquidation ausgewiesen (4,8 Mio. Franken für die Nachzahlung der Freizügigkeitsleistungen und 9,2 Mio. Franken für die Erhöhung des Deckungskapitals). Daneben resultierte noch ein freies Stiftungsvermögen von Fr. 1'321'832.17. Im Bericht vom 2. Februar 2000 zur Teilliquidation per 31. März 1999 ging die Beschwerdegegnerin vom gleichen Deckungskapital, vermehrt um eine Risikoschwankungsrückstellung von Fr. 750'000.-, aus (insgesamt Fr. 28'854'600.-). Sodann verwies der Bericht auf die in der kaufmännischen Bilanz per 31. März 1999 ausgewiesenen Rückstellungen und für deren Begründung und Erläuterung auf die Jahresrechnung 1998. Die Berechnung der freien Mittel erfolgte unter Berücksichtigung des Deckungskapitals (ohne die genannten Rückstellungen) und ergab freie Mittel von Fr. 14'571'900.-. Proportional zu den im Bericht ebenfalls ausgewiesenen Bezugsgrössen ergab dies einen Anteil von Fr. 2'885'200.- für die verbleibenden aktiven Versicherten, Fr. 6'499'100.- für die Rentner und Fr. 5'187'600.- für die Einzelaustritte. Mit dieser Verteilung, so der Bericht, würden die erworbenen Rechte vollumfänglich gewahrt, werde dem Gleichbehandlungsgrundsatz Rechnung getragen und sei der Fortbestand der Pensionskasse mit dem verbleibenden Versichertenbestand und dem gesamten Rentnerbestand sichergestellt.
7.4 Wird also das der Teilliquidation zugrunde gelegte Deckungskapital (ohne die genannten Rückstellungen) vermehrt um die zur Verteilung vorgeschlagenen Anteile an den freien Mitteln für Aktive und Rentner, ergibt sich ein Gesamtbetrag von Fr. 38'238'900.-, rechnet man auch die (nicht umstrittenen) Leistungen für Einzelaustritte hinzu, ein solcher von Fr. 43'426'500.-. Dem standen gemäss Zwischenbilanz per 31. März 1999 Aktiven von Fr. 46'291'948.92 gegenüber. Im Teilliquidationsbericht vom 2. Februar 2000 wurde das Vermögen sogar noch tiefer angenommen (Fr. 49'052'800.-, abzüglich erstmals berücksichtigter Reserven auf Liegenschaften im Betrag von Fr. 3'245'400.-). In der versicherungstechnischen Bilanz vom 13. November 2002 per 1. Januar 2002 errechnete die Beschwerdegegnerin sodann ein Deckungskapital (Aktive und Rentner inkl. Zunahme Lebenserwartung und Rückstellung für Versicherungsrisiken) von Fr. 36'158'700.-. Dieser Betrag, welcher die im Rahmen der Teilliquidation erfolgte Rentenerhöhung berücksichtigt, ist tiefer als das per 31. März 1999 ausgewiesene Deckungskapital mit Einschluss der aus der Teilliquidation resultierenden Zuteilungen an Aktive und Rentner. Geht man von diesen Zahlen aus, war somit die im Rahmen der Teilliquidation erfolgte Berechnung des Deckungskapitals nicht zu optimistisch.
7.5 Die Beschwerdeführerin rügt die Berechnung des Deckungskapitals nicht im Einzelnen. Sie hat zwar im vorinstanzlichen Verfahren im Zusammenhang mit der Schadensberechnung die Einholung einer Expertise beantragt. Die Vorinstanz hat diesem Antrag nicht stattgegeben. Die Pensionskasse kritisiert, es sei nicht abgeklärt worden, ob die Reservebildung genügend gewesen sei. Sie stellt aber nicht die Berechnungen substanziiert in Frage, sondern verweist nur in genereller Weise darauf, dass Wertschwankungs- und Langlebigkeitsreserven usw. bei einer Kasse mit hohem Rentnerbestand eine speziell grosse Bedeutung hätten. In den von der BVG-Expertin vorgelegten Berechnungen sind jedoch durchwegs Langlebigkeitsreserven und Rückstellungen für Anlagerisiken enthalten. Im Bericht vom 2. Februar 2000 zur Teilliquidation per 31. März 1999 hat sie eine Rückstellung für die Zunahme der Lebenserwartung von 6 % des Deckungskapitals eingesetzt und dies auch begründet (Wechsel von den technischen Grundlagen EVK 1990 auf EVK 2000). Dies entspricht einem üblichen Ausmass (vgl. THEODOR KELLER, Risikobeurteilung einer Personalvorsorgeeinrichtung, ST 2004 S. 267 f.). Zudem wurden Rückstellungen auf Wertschriften (Kursrisiko) von Fr. 2'124'500.- (entsprechend rund 11 % des Wertschriftenbestands) gemäss den Angaben in der kaufmännischen Bilanz berücksichtigt. Inwiefern diese Annahme pflichtwidrig gewesen sein soll, wird von der Beschwerdeführerin nicht ausgeführt und ist auch nicht ersichtlich, zumal in der Berechnung von Wertschwankungsreserven ein Ermessensspielraum besteht (Urteil 2A.639/2005 vom 10. April 2006 E. 5.7; vgl. SCHNEIDER, a.a.O., S. 462 f.).
Um die von einer anerkannten BVG-Expertin erstellten Berechnungen in Frage zu stellen, genügt es nicht, pauschal und ohne jegliche Substanziierung zu behaupten, diese seien falsch; vielmehr müssten zumindest plausible Anzeichen glaubhaft gemacht werden, welche auf Mängel hindeuten (vgl. BGE 135 V 113 E. 2.3.2 S. 121; 131 II 533 E. 6.1 S. 538). Das hat die Beschwerdeführerin nicht getan. Unter diesen Umständen besteht kein Grund, an der technischen Richtigkeit der von der Beschwerdegegnerin erstellten Berechnung zu zweifeln. Davon ausgehend wurde das notwendige Deckungskapital im Zusammenhang mit der Teilliquidation auch unter Berücksichtigung der zugesprochenen Rentenerhöhungen nicht zu tief geschätzt. Dass in der Versicherungstechnischen Bilanz vom 13. November 2002 per 1. Januar 2002 ein Deckungsgrad von nur noch 90,1 % errechnet wurde (nachdem er per Ende 2000, also nach weitgehend abgeschlossener Teilliquidation, noch 100 % betragen hatte), ist nicht darauf zurückzuführen, dass infolge der Rentenerhöhung nachträglich das notwendige Deckungskapital grösser geworden wäre, als im Rahmen der Teilliquidation angenommen worden war, sondern auf eine Verminderung der Aktiven: Diese betrugen gemäss der kaufmännischen Bilanz per 31. März 1999 noch Fr. 46'291'948.92, per 1. Januar 2002 aber nur noch Fr. 34'952'084.98. Aus den Akten geht hervor, dass dies u.a. auf Kursverluste und Verluste im Zusammenhang mit Liegenschaftsgeschäften zurückzuführen ist, welche nicht in der Verantwortung der Expertin für berufliche Vorsorge liegen. Dass die Beschwerdegegnerin im Bericht vom 2. Februar 2000 den Deckungsgrad nicht ausdrücklich zahlenmässig festgehalten hatte, ist damit nicht von Bedeutung. Möglicherweise waren im Rahmen der Teilliquidation auch die Aktiven zu optimistisch bewertet worden, waren doch per 31. August 1996 die Liegenschaften um den Betrag von Fr. 10'581'800.- (rund die Hälfte der vorherigen Buchwerte) aufgewertet worden, was dazu führte, dass für die Zeit vom 1. Januar bis 31. August 1996 ein Ertragsüberschuss von Fr. 8'188'131.90 ausgewiesen werden konnte. Die Bewertung der Aktiven ist jedoch nicht in erster Linie Sache des BVG-Experten, sondern des Stiftungsrates und der Kontrollstelle (Art. 35 Abs. 1 BVV 2; EISENRING, a.a.O., S. 43). Letztere hatte übrigens bereits in ihrem Kontrollstellenbericht vom 11. Februar 1997 zum Zwischenabschluss per 31. August 1996 darauf hingewiesen, dass mit dieser Aufwertung die Anlagevorschriften der BVV 2 nicht eingehalten sind. Die Beschwerdeführerin war somit von fachkundiger Stelle auf eine hier vorhandene Problematik aufmerksam gemacht worden. Soweit der spezifische Aufgabenbereich der Beschwerdegegnerin betroffen ist, ist keine fehlerhafte bzw. pflichtwidrige Handlung nachgewiesen, welche eine Schadenersatzpflicht begründen könnte.
7.6 Es trifft zu, dass der Deckungsgrad der Beschwerdeführerin heute höher wäre, wenn die Renten im Rahmen der Teilliquidation nicht erhöht worden wären. Insoweit ist die 1999/2000 erfolgte Verteilung freier Mittel kausal zur heute bestehenden Unterdeckung. Es liegt aber in der Natur jeder Verteilung freier Mittel, dass Reserven reduziert werden, mit denen künftige Verluste abgefedert werden könnten. Dies ist gerade der Sinn und Zweck einer solchen Verteilung, weil verhindert werden soll, dass die Reserven einseitig den in der Vorsorgeeinrichtung verbleibenden Versicherten zukommen. Eine Verteilung freier Mittel kann deshalb nicht schon dann als rechtswidrig beurteilt werden, wenn sich im Nachhinein eine Unterdeckung ergibt, die vermeidbar gewesen wäre, wenn auf die Verteilung verzichtet worden wäre. Ein pflichtwidriges Verhalten im Zusammenhang mit der Teilliquidation läge höchstens dann vor, wenn diese als solche eine Unterdeckung zur Folge gehabt hätte bzw. dazu geführt hätte, dass die Vorsorgeeinrichtung nicht mehr Sicherheit für die Erfüllung ihrer Leistungen bieten kann. Das ist aber nach dem Gesagten nicht der Fall.
8. Die Beschwerdegegnerin hat somit im Zusammenhang mit der Teilliquidation von 1999/2000 ihre Pflichten nicht verletzt. Die Beschwerde ist unbegründet.
9. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten (Art. 65 Abs. 3 lit. b BGG) der Beschwerdeführerin aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 36'000.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. September 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann