Sachverhalt:
A. Die Personalfürsorgestiftung der X._-Stiftung (Klägerin) ist eine Vorsorgeeinrichtung im Sinne des BVG. Sie führt die berufliche Vorsorge der Mitarbeiter und Rentenbezüger der X.Y._ durch. Seit 1976 hatte sie die von ihr im Rahmen der obligatorischen und überobligatorischen beruflichen Vorsorge zu tragenden Risiken (Alter, Tod, Invalidität) ihrer Destinatäre bei der Z._ AG (Beklagte) versichert, letztmals mit dem Kollektiv-Lebensversicherungsvertrag vom 19./30. Mai 1999, der am 1. Januar 1999 in Kraft trat und bis zum 31. Dezember 2003 dauerte, mit Verlängerung um jeweils ein Jahr bei nicht erfolgter Kündigung. Mit Schreiben vom 11. November 2003 kündigte die Klägerin diesen Vertrag per 31. Dezember 2003. Nach der Kündigung nahm die Klägerin vorerst an, sie werde lediglich die aktiven Versicherten wieder übernehmen, während jene Versicherten, die bereits Renten bezogen, bei der Beklagten verbleiben und weiterhin von dieser die Renten beziehen würden. In der Folge gingen aber beide Parteien davon aus, die Kündigung bewirke eine Befreiung der Beklagten von allen vertraglichen Pflichten und diese müsse im Gegenzug eine Barzahlung an die Klägerin leisten. Die Beklagte überwies ein Deckungskapital von Fr. 6'816'043.--, das die Klägerin aber als zu tief erachtete.
B. Am 11. September 2007 reichte die Klägerin beim Zivilgericht Basel-Stadt Klage ein und verlangte von der Beklagten Fr. 1'587'722.-- zuzüglich 5 % Zins seit dem 1. Januar 2004. Davon betrafen Fr. 309'712.-- die Altrenten bzw. den Altbestand (Pensionierung der Versicherten vor dem 1. Januar 1999) und Fr. 1'278'010.-- die Neurenten bzw. den Neubestand (Pensionierung nach dem 1. Januar 1999). Die Beklagte beantragte, die Klage abzuweisen.
B.a Die Klägerin machte geltend, Zweck des streitgegenständlichen Vertrages sei eine Vollversicherung gewesen; sie habe ihre sämtlichen Risiken auf die Beklagte übertragen, das heisst eine kongruente Deckung zu der von ihr gegenüber den Destinatären bestehenden Verpflichtung erreichen wollen. Bei einer Kündigung müsse die Beklagte daher Nachdeckung für die laufenden Renten in dem Umfang leisten, dass die Klägerin oder eine neue Versicherungsgesellschaft die Leistungen gemäss Vorsorgereglement weiterhin vollumfänglich erbringen können. Gemäss Ziff. 1 des Kollektiv-Lebensversicherungsvertrages sei das Vorsorgereglement integrierender Bestandteil gewesen, welches einen Rentenumwandlungssatz von 7,2 % garantiert habe. Für die Berechnung sei vom aktuell gültigen Kollektivversicherungstarif "KT95/3,5 %" auszugehen.
B.b Die Beklagte machte geltend, der von ihr zurückzuerstattende Wert entspreche gemäss Art. 7 Abs. 3 lit. b AVB dem sog. Inventardeckungskapital. Dieses berechne sich aufgrund der jeweils gültigen Kollektivversicherungstarife. Dabei sei zu unterscheiden zwischen dem Alt- und dem Neubestand. Der Altbestand habe auf mehrjährigen Tarifen beruht. Bei diesen werde zu einem bestimmten Zeitpunkt eine im Voraus genau definierte Altersleistung zu einem bestimmten Tarif fix versichert (sog. Leistungsprimat), der dann bis zur Pensionierung unverändert bleibe. Die spätere Leistung werde beim mehrjährigen Tarif also bereits beim Abschluss definiert und sei daher auch nicht mehr abhängig von einem Umwandlungssatz im Zeitpunkt der Pensionierung. Entsprechend müsse der Altbestand aufgrund der jeweils gültigen Kollektivversicherungstarife im Zeitpunkt des jeweiligen Abschlusses mit den damals jeweils gültigen technischen Zinssätzen abgerechnet werden. Mit dem Kollektiv-Lebensversicherungsvertrag vom 19./30. Mai 1999 habe die Klägerin vom Leistungsprimat auf das Beitragsprimat gewechselt. Dieses beruhe auf einem sog. einjährigen Tarif. Bei diesem sei nicht für einen Lohnbestandteil fix eine Leistung versichert, sondern es erfolge zum jeweils gerade aktuellen Tarif ein jährliches Alterssparen. Bei der Pensionierung werde das gesamte angesparte Altersguthaben zu dem zu diesem Zeitpunkt gültigen einjährigen Tarif in die Altersleistung umgewandelt. Hier komme also nur eine Tarifgeneration zur Anwendung, im vorliegenden Fall der KT95. Diese von der Aufsichtsbehörde genehmigten Tarife garantierten eine Rente (nachfolgend: Tarifrente) nach dem tariflichen Umwandlungssatz von 5,835 % für Männer und 5,471 % für Frauen. Soweit eine höhere Rente gewährt werde, wie es hier gemäss Vorsorgereglement der Fall sei (7,2 % für Männer und 7,31 % für Frauen) werde diese aus dem Überschuss in Form einer Überschussrente erbracht. Anspruch auf einen Überschuss und somit auch auf eine Überschussrente bestehe aber nur während der Kollektivversicherungsvertrag laufe. Weitere Verpflichtungen als die Erstattung des Inventardeckungskapitals bestünden nicht, insbesondere keine Verpflichtung, die Renten der bei Vertragsauflösung bereits eine Rente beziehenden Versicherten weiterhin zu bezahlen oder die diesbezügliche Zahlungspflicht der Klägerin als Personalfürsorgestiftung durch Reservebildung sicherzustellen.
B.c Das Zivilgericht Basel-Stadt beschränkte das Verfahren auf die Grundsatzfrage der Berechnungsweise unter Ausklammerung der quantitativen Berechnung der Nachzahlungssumme, welche in einem späteren Beweisverfahren erfolgen soll. Mit Zwischenurteil vom 20. Mai 2010 schützte es die Klage grundsätzlich hinsichtlich der Ansprüche betreffend die Neurenten und wies sie im weitergehenden Umfang (Altrenten) "grundsätzlich" ab. Da kein Entscheid im Quantitativen erging, wurde der Kostenentscheid vorbehalten. Das Gericht legte den Vertrag nach dem Vertrauensprinzip aus, da kein übereinstimmender gemeinsamer Wille feststellbar sei. Es nahm an, auf den Rückkauf aller Versicherungen, wozu es auch die bereits entstandenen Rentenverhältnisse zählte, gelange Art. 7 Abs. 1 der Allgemeinen Versicherungsbedingungen der Beklagten (AVB) zur Anwendung. Zurückzuerstatten sei somit das Inventardeckungskapital, das gemäss Art. 4 AVB stets nach den technischen Grundlagen bestimmt werde, nach denen die Prämien oder Einmaleinlagen der betreffenden Versicherung berechnet worden seien. Die Berechnungsweise der Beklagten für die Altrenten entspreche daher Art. 4 i.V.m. Art. 13 Abs. 2 AVB, da sich daraus eine gestaffelte Anwendung der mehrjährigen Tarife ergebe. Entsprechend schützte es den Standpunkt der Beklagten bezüglich der Berechnung der Altrenten. In Bezug auf die Neurenten hielt das Zivilgericht fest, es sei zwar möglich, dass die Vorsorgeeinrichtung den Destinatären reglementarisch etwas anderes verspreche, als sie bei der Versicherungsgesellschaft versichert habe. Die Beklagte sei jedoch gestützt auf Art. 1 des Kollekiv-Lebensversicherungsvertrages gleichermassen wie die Klägerin an das Vorsorgereglement gebunden. Daher sei das von der Klägerin berechnete Deckungskapital im Bereich der Neurenten dem Grundsatz nach korrekt.
C. Gegen das Urteil des Zivilgerichts appellierte die Beklagte, und die Klägerin erhob Anschlussappellation. Beide Parteien hielten an ihren erstinstanzlichen Anträgen fest. Das Appellationsgericht des Kantons Basel-Stadt wies mit Entscheid vom 23. Mai 2012 Appellation und Anschlussappellation unter Kostenfolge ab. Im Gegensatz zur Erstinstanz nahm es an, was mit den laufenden Rentenverpflichtungen geschehen soll, sei im Vertrag nicht geregelt; dieser betreffe nur die aktiv Versicherten. Die Beklagte wäre daher verpflichtet gewesen, die bereits entstandenen Rentenverhältnisse weiter zu führen. In diesem Fall hätte sie die Alt- und Neurenten ungekürzt weiterzahlen müssen. Indem die Klägerin aber einverstanden gewesen sei, auch die Rentner zurückzunehmen, hätten die Parteien einen Übernahmevertrag geschlossen, sich indessen nicht auf den Übernahmepreis geeinigt. Somit müsse die Preisfestlegung in richterlicher Lückenfüllung erfolgen. Hinsichtlich der Altrenten wendete es dann wie die Erstinstanz Art. 4 AVB (analog) an und schützte daher wie diese den Standpunkt der Beklagten. Hinsichtlich der Neurenten sei der Preis, da keine Übung existiere, nach Billigkeit zu bestimmen. Die Berechnung der Beklagten entspreche keinem angemessenen Preis, da diese im Fall ihrer grundsätzlich bejahten, weiterdauernden Zahlungsverpflichtung keine Möglichkeit gehabt hätte, die zugesicherten Renten wegen fehlender Überschüsse zu kürzen und da auch die Klägerin gegenüber ihren Destinatären eine derartige Kürzung nicht vornehmen könne.
D. Beide Parteien haben gegen den Entscheid des Appellationsgerichts beim Bundesgericht Beschwerde in Zivilsachen erhoben.
Die Klägerin beantragt im Verfahren 4A_571/2012, das angefochtene Urteil sei aufzuheben und die Klage vollumfänglich gutzuheissen. Eventualiter sei das Verfahren zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Die Beklagte beantragt im Verfahren 4A_579/2012 die Aufhebung der Absätze 1, 3 und 4 des angefochtenen Entscheids und die vollumfängliche Abweisung der Klage. Eventualiter seien die Absätze 1, 3 und 4 aufzuheben und die Sache an die Vorinstanz zurückzuweisen.
Die Klägerin schliesst in ihrer Antwort auf Abweisung der Beschwerde der Beklagten. Ausserdem stellt sie das Prozessbegehren, die beiden Verfahren seien zu vereinigen. Die Beklagte beantragt ihrerseits, die Beschwerde der Klägerin abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verweist auf das angefochtene Urteil und beantragt die Abweisung beider Beschwerden.
Obwohl kein zweiter Schriftenwechsel angeordnet wurde, hat die Klägerin unaufgefordert eine Replik eingereicht. Zu dieser und der klägerischen Beschwerdeantwort hat die Beklagte Bemerkungen angebracht.
Erwägungen:
1. Wenn - wie hier - an den Verfahren dieselben Parteien beteiligt sind und den Beschwerden der gleiche Sachverhalt zugrunde liegt, behandelt das Bundesgericht die verschiedenen Eingaben in der Regel in einem einzigen Urteil. Es rechtfertigt sich daher unter den gegebenen Umständen, die beiden Beschwerdeverfahren 4A_571/2012 und 4A_579/2012 zu vereinigen.
2. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; BGE 138 III 46 E. 1 S. 46 mit Hinweis).
Im kantonalen Verfahren wurde der Deckungskapitalanspruch betreffend die Altrenten abgewiesen, jener betreffend die Neurenten grundsätzlich gutgeheissen, wobei die Höhe des Anspruchs einem Beweisverfahren vorbehalten blieb. In Bezug auf die Abweisung handelt es sich um einen anfechtbaren Teilentscheid (Art. 91 lit. a BGG; BGE 135 III 212 E. 2 S. 217 f.; 135 V 141 E. 1.4.6 S. 147 f.) in Bezug auf jenen Teil, der die Neurenten betrifft, um einen Zwischenentscheid im Sinn von Art. 93 BGG (vgl. BGE 133 V 477 E. 4.1.3 S. 481 mit Hinweisen). Gegen einen solchen ist die Beschwerde zulässig, wenn deren Gutheissung sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit und Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Das Erfordernis des sofortigen Endentscheids ist nur erfüllt, wenn das Bundesgericht selbst den Prozess mit seinem Entscheid beenden kann. Dies ist nicht der Fall, wenn es die Sache zu neuer Entscheidung zurückweisen muss, wenn es also nicht gemäss Art. 107 Abs. 2 BGG selbst reformatorisch entscheidet (BGE 133 III 634 E. 1.1 S. 636 mit Hinweis). Die Vorinstanz hat mit Blick auf die Neurenten festgehalten, dass Berechnungsdifferenzen, die nicht auf das Problem der Überschussrenten zurückzuführen seien, nicht geltend gemacht worden und daher nicht zu berücksichtigen seien. Das bedeutet, dass das Bundesgericht, wenn es betreffend Nicht-Abgeltung einer Überschussrente den Standpunkt der Beklagten schützt, deren Beschwerde gutheissen und die diesbezügliche Klage ohne Weiterungen in einem Endentscheid abweisen kann. Angesichts des von den kantonalen Instanzen in Aussicht genommenen Beweisverfahrens ist offensichtlich auch die zweite Voraussetzung, dass bedeutender Aufwand an Zeit und Kosten erspart wird, erfüllt.
Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist - unter Vorbehalt einer hinreichenden Begründung (Art. 42 Abs. 2 und 106 Abs. 2 BGG) - auf die Beschwerden einzutreten.
3. 3.1 Mit der Beschwerde in Zivilsachen kann die Verletzung von Bundesrecht (einschliesslich Bundesverfassungsrecht) gerügt werden (Art. 95 lit. a BGG). Nicht zu den in Art. 95 BGG vorgesehenen Rügegründen gehört hingegen die Verletzung kantonaler Verfahrensvorschriften, deren Anwendung und Auslegung vom Bundesgericht einzig unter dem Blickwinkel eines Verstosses gegen Bundesrecht bzw. gegen Bundesverfassungsrecht beurteilt werden kann (BGE 136 I 241 E. 2.4 S. 249; 134 III 379 E. 1.2 S. 382 f.). Das kantonale Verfahren richtete sich noch nach der nunmehr aufgehobenen Zivilprozessordnung des Kantons Basel-Stadt vom 8. Februar 1875 (aZPO/BS, aSG 221.100; Art. 404 Abs. 1 und Art. 405 Abs. 1 ZPO).
3.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Mit Blick auf die Begründungspflicht des Beschwerdeführers (Art. 42 Abs. 1 und 2 BGG) behandelt es aber grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind; es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (BGE 135 III 397 E. 1.4 S. 400; 134 III 102 E. 1.1 S. 104 f.). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f.; 131 III 384 E. 2.3 S. 387 f.; je mit Hinweisen).
3.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
Beschwerde der Beklagten (4A_579/2012)
4. Umstritten ist, ob beim Deckungskapital für die Neurenten die gesamte Rente zu berücksichtigen ist, wie sie von der Beklagten bis zur Vertragsauflösung geleistet wurde, oder nur ein Teil davon (sog. "garantierte Rente" oder Tarifrente, die von der "Überschussrente" zu unterscheiden ist). Das hängt vorerst mit der Frage zusammen, ob die Beklagte gemäss Kollektiv-Lebensversicherungsvertrag verpflichtet gewesen wäre, die Rentenbezüger zu behalten bzw. deren Leistungen wie während der Laufzeit des Vertrages weiterhin auszurichten. Die Vorinstanz erachtete ein Deckungskapital (bzw. nach ihrer Begründung einen "Preis") ohne Berücksichtigung der Überschussrente namentlich deshalb als unbillig, weil sie zum Schluss kam, die Beklagte wäre grundsätzlich verpflichtet gewesen, die Rentner zu behalten und ihnen weiterhin die vollen bisherigen Leistungen zu erbringen.
4.1 Die Vorsorgeeinrichtung, die mittels Anschlussvertrag mit dem Arbeitgeber dessen Sicherstellung der beruflichen Vorsorge übernommen hat und im Vorsorgereglement ihre zu erbringenden Leistungen zuhanden der Destinatäre (Arbeitnehmer und Rentner) umschreibt, kann diese Risiken selber tragen oder sie ganz oder teilweise mit einem Versicherungsvertrag einer Versicherungseinrichtung übertragen (Art. 67 BVG [SR 831.40]; BGE 130 II 258 E. 2.1 S. 260; ROMOLO MOLO, in: BVG und FZG, Schneider und andere [Hrsg.], 2010, N. 27 ff. zu Art. 67 BVG; HANSJÖRG SEILER, Der Anschlussvertrag an eine Personalvorsorgeeinrichtung, in: Versicherungsbranche im Wandel; Liber amicorum für Moritz W. Kuhn zum 65. Geburtstag, 2009, S. 375 ff., S. 378).
Bis zur 1. BVG-Revision, die mit Bezug auf den hier interessierenden Art. 53e BVG auf den 1. April 2004 in Kraft gesetzt wurde, war die Auflösung von Anschlussverträgen und von Kollektivversicherungsverträgen im BVG nicht geregelt; namentlich fehlte es an einer Regelung darüber, was in einem solchen Fall für die Rentenbezüger gilt (BGE 135 V 261 E. 4.1 S. 263; 127 V 377 E. 5b S. 383; HANS-ULRICH STAUFFER, Berufliche Vorsorge, 2. Aufl. 2012, S. 545 ff. Rz. 1467 und 1471; UELI KIESER, BVG und FZG, a.a.O., N. 1 zu Art. 53e BVG). Während ältere Vertragsbedingungen meistens vorsahen, dass die laufenden Renten auch nach der Kündigung bei der bisherigen Einrichtung blieben, bürgerten sich im Laufe der Zeit Regelungen ein, wonach bei Kündigung eines Kollektivversicherungs- oder Anschlussvertrages auch die laufenden Renten als gekündigt galten. Der Arbeitgeber musste somit eine neue Vorsorge- bzw. Versicherungseinrichtung suchen, die bereit war, die laufenden Rentenfälle zu übernehmen. Weil das zu überweisende Deckungskapital aufgrund unterschiedlicher Tarifgrundlagen häufig tiefer war als das vom neuen Versicherer geforderte, hatte die Vorsorgeeinrichtung oft nur die Wahl, auf die Kündigung zu verzichten. Die Revision sollte diese goldenen Fesseln beseitigen (SEILER, a.a.O, S. 390 f.). Mit der Revision wurde in Art. 53e BVG die Auflösung solcher Verträge ausdrücklich geregelt, in den Absätzen 1 bis 3 die Auflösung von Verträgen zwischen Versicherungseinrichtungen und Vorsorgeeinrichtungen, danach jene des Anschlussvertrages (vgl. zur Entstehungsgeschichte dieser gesetzlichen Bestimmungen: BGE 135 V 261 E. 4.3 S. 264 ff.; KIESER, a.a.O., N. 1 zu Art. 53e BVG). Bei der Auflösung eines Versicherungsvertrages gilt als Grundsatz, dass ein Anspruch auf das Deckungskapital (Art. 53e Abs. 1 BVG) und auf eine anteilsmässige Beteiligung an den Überschüssen des Versicherungsverlaufs (Art. 53e Abs. 2 BVG) besteht. Für die Berechnung des Deckungskapitals gilt das sog. "Drehtürprinzip", wonach eine Versicherung der Vorsorgeeinrichtung soviel Deckungskapital mitgeben muss, wie sie von ihr im Falle eines Neuabschlusses im gleichen Zeitpunkt für den gleichen Versicherten- und Rentnerbestand mit den gleichen Leistungen verlangen würde. Das Drehtürprinzip gilt auch für die Rentnerbestände (Art. 16a Abs. 1 der Verordnung vom 18. April 1984 über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge (BVV 2; SR 831.441.1); STAUFFER, a.a.O., S. 549 f. Rz. 1477; KIESER, a.a.O., N. 11 zu Art. 53e BVG), sofern solche übergehen.
Die Auffassung der Klägerin zur Berechnung des Nachzahlungsbetrages entspricht dem "Drehtürprinzip". Sie macht denn auch in diesem Sinn geltend, die beklagtische Auslegung würde eine "übermässige Vertragsbindung bedeuten, indem der Rückdeckungsvertrag faktisch unkündbar wäre". Nachdem der Kollektivversicherungsvertrag vor dem 1. April 2004 gekündigt wurde, sind die revidierten Bestimmungen von Art. 53a BVG nicht anwendbar (SEILER, a.a.O, S. 391). Zu prüfen bleibt, ob aufgrund der vertraglichen Regelung eine vergleichbare Verpflichtung der Beklagten abgeleitet werden kann.
4.2 Der Kollektivversicherungsvertrag ist ein privatrechtlicher Vertrag; er ist daher nach den privatrechtlichen Regeln auszulegen.
4.2.1 Der Inhalt der beiderseitigen Erklärungen bestimmt sich in erster Linie nach dem wirklichen Willen der Vertragsparteien (Art. 18 Abs. 1 OR). Kann eine tatsächliche Einigung nicht festgestellt werden, ist die Vereinbarung nach dem Vertrauensprinzip so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durfte und musste. Während das Bundesgericht die objektivierte Auslegung von Willenserklärungen als Rechtsfrage prüfen kann, beruht die subjektive Auslegung auf Beweiswürdigung, die vorbehaltlich der Ausnahme von Art. 105 Abs. 2 BGG der bundesgerichtlichen Überprüfung entzogen ist (BGE 135 III 410 E. 3.2 S. 412 f. mit Hinweis).
4.2.2 Die Klägerin ist der Auffassung, die Ausführungen der Vorinstanz zum Inhalt des Vertrages, insbesondere dass dieser die laufenden Renten nicht erfasse, hielten eine tatsächliche Willensübereinstimmung fest, an die das Bundesgericht grundsätzlich gebunden sei.
Die Vorinstanz stützte ihren Entscheid namentlich auf das in Art. 7 AVB enthaltene Wort "Versicherung", das "üblicherweise" für bereits laufende Leistungen nicht verwendet werde. Auch der in der gleichen Bestimmung sowie in Art. 4 AVB benutzte Begriff "Inventardeckungskapital" sei "auf Versicherungsverhältnisse zugeschnitten", deren Versicherungsfall noch nicht eingetreten sei. Es stelle sich daher die Frage, ob ein "qualifiziertes Schweigen" angenommen werden müsse und die bereits entstandenen Rentenzahlungspflichten nicht auszukaufen seien, sondern weiterliefen. Es liege nahe, "diese Frage im Sinne des bei der Kündigung von Versicherungsverträgen Üblichen zu bejahen". Die Vorinstanz gelangte mithin nicht aufgrund der Würdigung von Beweisen zu einer subjektiven Auslegung des Vertrages, sondern legte diesen aufgrund eines allgemeinen Begriffsverständnisses objektivierend aus. Selbst wenn die Vorinstanz aber von einer tatsächlichen Willensübereinstimmung ausgegangen sein sollte, hätte sie ihre Schlüsse ausschliesslich aus Umständen gezogen, die bei der Vertragsauslegung nach dem Vertrauensprinzip zu berücksichtigen sind. Diesfalls kann sie aber ohne Willkür nicht zu einem von der Auslegung nach dem Vertrauensprinzip abweichenden tatsächlichen Parteiwillen gelangen. Eine derartige Abweichung lässt sich nur durch Umstände rechtfertigen, die bei der Auslegung nach dem Vertrauensprinzip nicht berücksichtigt werden, wie beispielsweise das nachträgliche Parteiverhalten (Urteil des Bundesgerichts 4A_156/2008 vom 8. Juli 2008 E. 1.3). Die Auslegung durch die Vorinstanz kann somit auf jeden Fall vom Bundesgericht überprüft werden.
4.2.3 Bei einer Auslegung nach dem Vertrauensprinzip hat der Erklärungsempfänger für ihn erkennbare branchenspezifische Fachausdrücke oder Bezeichnungen in der Regel so zu verstehen, wie sie in der jeweiligen Branche üblicherweise verstanden werden (BGE 131 III 606 E. 4.2 S. 612 mit Hinweis). Wenn beide Vertragsparteien in derselben Branche tätig und fachkundig sind, obliegt es nach Treu und Glauben jeder Partei selbst, sich über die Tragweite von Fachausdrücken in den unterzeichneten Vertragsbestimmungen kundig zu machen (BGE 125 III 263 E. 4b/bb S. 267 f.). Zu den branchenspezifischen Begriffen gehören im Rahmen der beruflichen Vorsorge auch versicherungstechnische und -mathematische Grundsätze (BGE 132 V 278 E. 4.3 S. 282 mit Hinweis).
Die Klägerin hat vom Arbeitgeber dessen Sicherstellung der beruflichen Vorsorge übernommen. Solches hätte sie bereits aus allgemeinen Sorgfaltsüberlegungen nicht tun dürfen, wenn ihr die in diesem Bereich branchenspezifischen Bedingungen nicht geläufig waren. Hinzu kommt, dass sie nach ihren eigenen Ausführungen auch im Beschwerdeverfahren bei den Vertragsverhandlungen Dr. B._ als begleitenden Pensionskassenexperten beigezogen hatte. Sie hat daher als branchen- und fachkundig im Sinn der dargelegten Praxis zu gelten.
4.2.4 Der Kollektiv-Lebensversicherungsvertrag umfasst lediglich vier Artikel. Im Übrigen verweist er in Art. 1 auf die (fünfzehn Artikel umfassenden) AVB der Beklagten. Vorformulierte Vertragsbestimmungen sind grundsätzlich nach den gleichen Regeln wie individuell verfasste Vertragsklauseln auszulegen (BGE 135 III 1 E. 2 S. 6, 410 E. 3.2 S. 412).
Die Klägerin macht geltend, auf die AVB und den diesen unterliegenden KT95, der ebenfalls seitens der Beklagten vorformulierte Regeln beinhalte, sei die Ungewöhnlichkeitsregel anzuwenden. Die Geltung vorformulierter allgemeiner Geschäftsbedingungen wird gemäss der Rechtsprechung durch die Ungewöhnlichkeitsregel eingeschränkt. Danach sind von der global erklärten Zustimmung zu allgemeinen Vertragsbedingungen alle ungewöhnlichen Klauseln ausgenommen, auf deren Vorhandensein die schwächere oder weniger geschäftserfahrene Partei nicht gesondert aufmerksam gemacht worden ist (BGE 138 III 411 E. 3.1 S. 412; 135 III 1 E. 2.1 S. 7, 225 E. 1.3 S. 227 f). Nachdem die Klägerin als branchen- und fachkundig zu gelten hat und im Zeitpunkt des Abschlusses des Vertrages auch kein entscheidendes Machtgefälle zwischen ihr und der Beklagten bestand, fehlt es bereits an den subjektiven Voraussetzungen zur Anwendung dieser Regel.
4.3 Art. 7 Abs. 1 AVB unter dem Titel "Vertragsauflösung" lautet: "Bei der Kündigung des Versicherungsvertrages werden auf Verlangen der Versicherungsnehmerin alle Versicherungen - oder im Einverständnis mit der Z._ AG nur die Versicherungen einer generell umschriebenen Kategorie von versicherten Personen - zurückgekauft oder in prämienfreie Versicherungen umgewandelt".
4.3.1 Die Vorinstanz bezog den Begriff "Versicherungen" nur auf die aktiv Versicherten. Es trifft zu, dass der Begriff im allgemeinen Sprachgebrauch und soweit er das Vertragsverhältnis zwischen dem Versicherten und dem Versicherer betrifft, das aktive Versicherungsverhältnis meint, also nicht die Leistungen, die auch nach einem gekündeten Versicherungsvertrag noch erbracht werden müssen. Auch im BVG wird der Begriff Versicherung (die "obligatorische Versicherung" im Sinn der Versicherungspflicht) auf den Zeitraum bis zum Erreichen des Rentenalters bezogen (Art. 10 Abs. 2 lit. a BVG; vgl. auch BGE 138 V 227 E. 5 S. 231 ff.). Die Streitsache betrifft jedoch nicht das Verhältnis zum Versicherten bzw. dem Begünstigten; entscheidend ist, wie nach dem Vertrauensprinzip die vertragliche Regelung zwischen den Parteien auszulegen ist.
Zwischen den Parteien ist umstritten, ob diese Frage durch BGE 127 V 377 (bestätigt mit Urteil des Bundesgerichts 9C_128/2011 vom 16. November 2011 E. 4.3.2, publ. in: SVR 2012 BVG Nr. 17 S. 73) bereits entschieden wurde, da sich dieser Entscheid u.a. ebenfalls auf den hier auszulegenden Art. 7 Abs. 1 der AVB (gültig ab 1. Januar 1996) der Beklagten bezog. Wie beide kantonalen Instanzen zutreffend erkannt haben, ist dies zu verneinen. Vorerst bezog sich jene Streitigkeit auf den Anschlussvertrag, betraf also das Verhältnis zwischen dem Arbeitgeber und der Vorsorgeeinrichtung, wobei es sich bei der Vorsorgeeinrichtung um eine vom (Kollektiv-)Versicherer betriebene Sammelstiftung handelte. Vor allem war in BGE 127 V 377 aber massgebend, die Interessen der mit der Vorsorgeeinrichtung vertraglich verbundenen Rentner zu berücksichtigen. Diese sollten nicht dazu gezwungen werden, einer anderen Vorsorgeeinrichtung anzugehören als die aktiv Versicherten. Hier sind die aktiven und ehemaligen Arbeitnehmer vor und nach der Kündigung des Kollektiv-Lebensversicherungsvertrages mit der gleichen Vorsorgeeinrichtung vertraglich verbunden. Es geht lediglich um die Frage der Rückdeckung, welche die Destinatäre nicht betrifft. Zu Recht hat sich die Vorinstanz daher auch nicht zur Kritik an diesem Entscheid in der Lehre (HANS-ULRICH STAUFFER, Das Rentenschicksal bei der Auflösung eines Anschlussvertrages, in: SZS 2004 S. 69 ff.; MONICA SCHIESSER, Die Übertragung laufender (Alters-)Renten bei Auflösung von Anschlussverträgen mit Sammelstiftungen, in: HAVE 2003, S. 306 ff.) geäussert. Der Entscheid zeigt aber, dass der Ausdruck "Versicherungen" in Art. 7 Abs. 1 AVB jedenfalls nicht ohne weiteres in dem engen, von der Vorinstanz vertretenen Sinn verstanden werden muss (vgl. BGE 127 V 377 E. 5c/cc S. 387 f.).
Art. 1 des Kollektiv-Lebensversicherungsvertrages behandelt die "Grundlagen" des Vertrages. Abs. 3 lautet wie folgt: "Den Versicherungen liegen die vom Bundesamt für Privatversicherungswesen genehmigten Kollektiv-Lebensversicherungs-Tarife zugrunde". Im KT95 wird die Vertragsauflösung in Ziff. 8.2 geregelt, und heisst es im Ingress: "Wird der Kollektivvertrag aufgelöst, so wird auch die Gesamtheit der bestehenden Versicherungen aufgelöst und dem Versicherungsnehmer der Rückerstattungswert bei Vertragsauflösung ausbezahlt". In Ziff. 8.2.1 werden dann die einzelnen Rückerstattungswerte definiert, wobei Ziff. 8.2.1.3 auch eine Bestimmung des Rückerstattungswerts "für Bezüger von Altersleistungen" enthält. Die Vorinstanz nahm an, der KT95 sei ohne Bedeutung, "weil die technischen Grundlagen nicht Vertragsinhalt, sondern nur Hilfsmittel zur Berechnung von aufgrund des Vertragsinhaltes geschuldeten Leistungen sein sollten". Sie begründet dies nicht weiter und es ist unklar, wie ein Dokument zwar nicht Vertragsinhalt, aber doch Hilfsmittel für die Berechnung eines Anspruchs sein soll. Der ausdrückliche Verweis in Art. 1 Abs. 3 des Vertrages unter dem Titel Vertragsgrundlagen kann nur so verstanden werden, dass für die "Versicherungen", das heisst einerseits die Prämien und andererseits die Leistungen, die Tarife massgeblich sind. Sofern in dem allgemein gehaltenen Basisvertrag und den AVB Begriffe versicherungstechnischer Art verwendet werden, ist für deren Auslegung auf den Tarif zurückzugreifen. Somit ist davon auszugehen, dass "Versicherungen" in Art. 7 Abs. 1 AVB im gleichen Sinn zu verstehen ist wie in Ziff. 8.2 des KT95, wo der Begriff zweifellos auch die Rentenverhältnisse umfasst. Daran ändert nichts, dass der Verweis auf die Tarife lediglich in Art. 1 Abs. 3 des Kollektiv-Lebensversicherungsvertrages erfolgt und nicht in dessen Absatz 1. Entgegen der Klägerin und der Vorinstanz ergibt sich schliesslich auch daraus, dass gemäss Art. 7 AVB alternativ zum Rückkauf die Umwandlung in eine prämienfreie Versicherung möglich ist, nichts anderes. Es trifft zwar zu, dass eine solche nur vor Eintritt der Pensionierung möglich ist (solange noch Prämien bezahlt werden), also bei aktiven Versicherungsverhältnissen; jedoch bezieht sich Art. 7 AVB eben sowohl auf die aktiven wie die passiven Versicherungsverhältnisse. Eine Auslegung des Vertrages nach dem Vertrauensprinzip ergibt somit, dass auch die Rentenverhältnisse erfasst sind.
4.3.2 Was die Klägerin dagegen einwendet, ist nicht geeignet, diese Auslegung in Frage zu stellen. Sie rügt mit Aktenhinweis, die Beklagte selbst habe sich ausschliesslich auf Art. 4 und 7 AVB berufen. Darin besteht indessen kein Widerspruch, denn die Beklagte ging offensichtlich davon aus, Art. 4 und 7 AVB seien für sich genügend klar, ohne dass für deren Auslegung auf den Tarif zurückgegriffen werden muss. Insbesondere macht die Klägerin geltend, die Vorinstanz habe in tatsächlicher Hinsicht verbindlich festgehalten, dass die Klägerin den nicht allgemeingültigen Inhalt der KT95 weder kannte noch kennen konnte und dieser sogar vor ihr geheimgehalten worden sei. Dies trifft nicht zu; am angegebenen Ort hat die Vorinstanz lediglich eine entsprechende Behauptung der Klägerin im Hinblick auf die Beurteilung des Novenverbots wiedergegeben. Im Übrigen wäre es der Klägerin oblegen (vgl. E. 4.2.3 hiervor), sich nach den im Vertrag explizit erwähnten Tarif-Grundlagen zu erkundigen, wenn sie bzw. der von ihr beigezogene Experte diese tatsächlich nicht gekannt hätte. Schliesslich ist auch nicht substanziiert, was mit dem "nicht allgemein gültigen Inhalt" gemeint ist.
5. Entgegen der Vorinstanz ist somit die Frage, welches Deckungskapital die Beklagte für die Neurenten leisten muss, nicht aufgrund richterlicher Lückenfüllung betreffend einen nicht vereinbarten Preis zu beantworten, sondern aufgrund der Vertragsauslegung, entsprechend dem Vorgehen der Erstinstanz.
5.1 Gemäss Art. 1 Abs. 1 des Kollektiv-Lebensversicherungsvertrages vereinbarten die Parteien, "den im Vorsorgereglement umschriebenen Personenkreis zu versichern" nach Massgabe unter anderem des Vorsorgereglements. Das Vorsorgereglement gewährt eine lebenslängliche Altersrente. Gemäss Art. 13 Ziffer 2 Abs. 1 beträgt der "Umwandlungssatz (versicherungstechnischer Wert zuzüglich Ergänzung aus Überschussanteilen) z.Z. 7,2 %". Die Klägerin leitet daraus ab, dass auch die Beklagte an das Vorsorgereglement gebunden ist und daher jene Renten, die während der Vertragsdauer (zum Umwandlungssatz von 7,2 %) entstanden sind, abzugelten hat. Die Berechnungsweise der Beklagten führe demgegenüber zu einer Kürzung von Verpflichtungen, die bereits unwiderruflich entstanden seien.
Es trifft zu, dass die Beklagte durch Art. 1 Abs. 1 des Kollektiv-Lebensversicherungsvertrages an das Vorsorgereglement gebunden wurde. Sie war somit (gegenüber der Klägerin) verpflichtet, während der Vertragsdauer jene Leistungen zu erbringen, die seitens der Klägerin den Destinatären im Reglement versprochen worden waren. Diese Verpflichtung entfiel jedoch im Zeitpunkt der Vertragsauflösung, denn sie ergab sich einzig aus dem (hinfälligen) Versicherungsvertrag und nicht unmittelbar gestützt auf das Reglement.
Nachdem die Beklagte nicht verpflichtet war, die während der Vertragsdauer entstandenen Rentenverhältnisse zu behalten und entsprechende (unveränderliche) Renten (inkl. Überschussanteil) lebenslang zu leisten (vgl. E. 4.3 hiervor), kommt es einzig darauf an, welche Abfindungsparameter im Vertrag für die Übernahme durch die Klägerin festgelegt sind.
5.2 Gemäss Art. 7 Abs. 3 lit. b AVB entspricht der Rückerstattungswert dem Inventardeckungskapital. Art. 4 AVB definiert dieses wie folgt: "Das Inventardeckungskapital wird stets nach den technischen Grundlagen bestimmt, nach denen die Prämien oder Einmaleinlagen der betreffenden Versicherung berechnet worden sind. Das Inventardeckungskapital für eine von der Risikoversicherung getrennt geführte Sparversicherung entspricht dem Altersguthaben bzw. dem Alterskapital".
Die Vorinstanz führte dazu aus, es sei fraglich, ob aus dieser Bestimmung abgeleitet werden könne, dass sich der Rückerstattungswert in jedem Fall nur auf Berechnungen abstützen lasse, die mit den technischen Grundlagen vereinbar seien. Die Frage könne allerdings offen gelassen werden. Es sei nämlich nicht zu übersehen, dass eine Rente, die durch Umwandlung eines Altersguthabens mit einem Umwandlungssatz von 7,2 % ermittelt werde, in Übereinstimmung mit dem KT95 gebildet worden sei. Zwar werde in den Bestimmungen des KT95 darauf verwiesen, dass es bei der Verwendung des Umwandlungssatzes von 7,2 % notwendig werde, einen Teil der Rente als sog. "Überschussrente" anzusehen (Ziff. 3.4.2.2.1). In Ziffer A.2.2 werde aber auch festgehalten, dass "der Umwandlungssatz nach den Grundlagen des KT95 mit den Zinssätzen ... bzw. ... genau dem BVG-Mindestumwandlungssatz ... entspricht". Daher lasse sich aus den vertraglichen Regeln über die Berechnung des Rückerstattungswerts (Art. 7 und 4 AVB) nicht entnehmen, ob es zulässig oder erforderlich sei, den ganzen Rentenbetrag oder nur einen Teil zu berücksichtigen.
Dem ist nicht zu folgen. Vorerst spricht Art. 5 Abs. 2 AVB, wonach die Überschussberechtigung im Zeitpunkt der Vertragsauflösung endet, für die beklagtische Auslegung; ebenso, dass der Überschuss (Art. 5 AVB) und das Inventardeckungskapital (Art. 4 AVB) in zwei verschiedenen Bestimmungen geregelt sind. Entscheidend ist aber vor allem die Formulierung in Art. 4 AVB selbst. Der Begriff "technische Grundlagen" hat im Versicherungsgeschäft eine bestimmte branchenspezifische Bedeutung und schliesst die Berücksichtigung von Überschussanteilen aus. Die Berechnung der Leistungen, der Beiträge sowie der Vorsorgeverpflichtungen erfolgt bei der Kollektivversicherung anhand von versicherungstechnischen Rechnungsgrundlagen. Elemente dieser "versicherungstechnischen Grundlagen" sind die Wahrscheinlichkeitstafeln (Sterblichkeit, Invalidität, Verheiratung u.a.), der technische Zinsfuss und die Verwaltungskostensätze sowie die technischen Grundlagenelemente des BVG, nämlich biometrische Rechnungsgrundlagen, demographische Rechnungsgrundlagen und wirtschaftliche Schätzungselemente. Es handelt sich somit um Soll-Kosten (CARL HELBLING, Personalvorsorge und BVG, 8. Aufl. 2006, S. 375 f.). Die Überschussanteile ergeben sich demgegenüber aus einer Ist-Betrachtung. Im Wesentlichen handelt es sich um Zinsgewinn (Differenz zwischen der effektiv auf den Aktiven erzielten Nettoverzinsung und dem technischen Zinsfuss), um Verwaltungskostengewinn und um Risikogewinn (Differenz zwischen den nach Tarifgrundlagen erwarteten und den effektiv ausbezahlten Versicherungsleistungen (HELBLING, a.a.O., S. 167 f.). In diesem Sinn wird der Begriff denn auch im KT95 verwendet (vgl. Kapitel 10 i.V.m. A.3 Prämienberechnung). Selbst wenn man davon ausginge, Art. 4 AVB sei für sich allein betrachtet nicht genügend klar (so wohl Urteil des Bundesgerichts 9C_128/2011 vom 16. November 2011 E. 5.2), ergibt sich jedenfalls durch die Präzisierung aufgrund des KT95, dass bei der Berechnung des Deckungskapitals die Überschüsse nicht zu berücksichtigen sind. Die von der Vorinstanz zitierte Formulierung in Ziff. A.2.2 des KT95, dass "der Umwandlungssatz nach den Grundlagen des KT95 mit den Zinssätzen ... bzw. ... genau dem BVG-Mindestumwandlungssatz ... entspricht" hat damit nichts zu tun. Massgeblich sind nach Art. 4 AVB und der damit übereinstimmenden Grundregel in Ziff. 23.1 des KT95 die technischen Grundlagen, "nach denen die Prämien ... berechnet worden sind". Der Umwandlungssatz betrifft nicht die Prämienberechnung. Es ist unbestritten, dass im Hinblick auf die Leistungen durch Berücksichtigung von Überschüssen ein höherer Umwandlungssatz erreicht werden konnte als es allein aufgrund der nach den technischen Grundlagen berechneten Prämien der Fall gewesen wäre, wie sich auch aus Ziff. 3.4.2.2.1 und 2.5 des KT95 (zur Berechnung vgl. Ziff. A 2.2., S. 111/112) ergibt (7,2 % statt 5,8 %).
Das Bundesgericht hat im Urteil 9C_741/2010 vom 12. Mai 2011 eine Vorsorgeeinrichtung verpflichtet, das an die neue Vorsorgeeinrichtung zu überweisende Deckungskapital ("réserve mathématique") inklusive der Überschussanteile festzulegen. Entscheidend war hier aber, dass die technischen Unterlagen, auf die im Anschlussvertrag verwiesen wurde, ausdrücklich festhielten, das Deckungskapital sei jener Betrag, der es erlaube, die Zahlung der versicherten Leistungen zu garantieren ("La réserve mathématique est le montant devant être mis à disposition à un moment donné pour permettre, compte tenu des primes encore dues en application du contrat, de garantir le paiement des prestations assurées"). Diese im Vertrag selbst enthaltene Garantie der Leistungen war entscheidend (zit. Urteil 9C_741/2010 E. 3.3 i.V.m. E. 3.1). Im zu beurteilenden Fall fehlt es aber wie dargelegt an einer solchen Garantie.
5.3 Zusammenfassend ist die Beschwerde der Beklagten somit gutzuheissen.
Beschwerde der Klägerin (4A_571/2012)
6. Die Klägerin ficht die Berechnung des Deckungskapitals für die Altrenten an, wie sie von Erst- und Vorinstanz vorgenommen wurde. Umstritten ist der Barwertfaktor. Nach dem Vorgehen der Beklagten wurde bei den Altrenten das Deckungskapital in Anwendung derjenigen Tarife berechnet (KT70 bzw. KT80 bzw. KT95), die für die verschiedenen Lohnbestandteile galten. Die Klägerin will lediglich den KT95 anwenden.
6.1 Das Deckungskapital und damit der Rückerstattungswert berechnet sich gemäss Art. 4 ABV nach den Tarifen, nach denen die Prämien bestimmt wurden. Betreffend Änderungen der Tarife bestimmt Art. 13 AVB, dass bei einer Änderung von dem Versicherungsvertrag zugrunde liegenden einjährigen Tarifen, für die betroffenen Versicherungen die geänderten Grundlagen gelten (Abs. 1). Bei einer Änderung von dem Versicherungsvertrag zugrunde liegenden mehrjährigen Tarifen werden alle später hinzukommenden Leistungen oder Leistungserhöhungen nach den geänderten Grundlagen abgeschlossen (Abs. 2). Vorinstanz und Erstinstanz gingen gestützt auf diese Regelungen zu Recht davon aus, dass nicht der letzte Tarif KT95, sondern die im jeweiligen Zeitpunkt massgeblichen Tarife entsprechend der Berechnungsweise der Beklagten zu Anwendung gelangen.
6.2 Soweit die Klägerin argumentiert, Art. 4 AVB erfasse nicht die Abgeltung laufender Rentenleistungen, wird auf die vorstehenden Ausführungen (E. 4.3) verwiesen.
Die Klägerin macht sodann geltend, die Vorinstanz verletze namentlich Art. 4 ZGB in Verbindung mit Art. 18 OR, indem sie einerseits (im Hinblick auf die Neurenten) annehme, der Vertrag regle die Übernahme der Renten nicht, enthalte also eine Lücke, dann jedoch hinsichtlich der Altrenten trotzdem den Vertrag anwende. Ausserdem ergebe sich aus dieser unterschiedlichen Behandlung von Neu- und Altrenten eine Verletzung des Gleichbehandlungsgrundsatzes (Art. 8 BV). Die Unterscheidung sei zudem willkürlich (Art. 9 BV), weil die kantonalen Vorinstanzen innerhalb der Gruppe der Rentenverpflichtungen, nämlich zwischen Alt- und Neurenten, eine unsachgemässe Unterscheidung (nach dem Primat des Sparprozesses) getroffen hätten. Erst diese unsachgemässe Unterscheidung habe dazu geführt, dass die (ebenfalls unsachgemässe) Regelung nach Art. 7 i.V.m. Art. 4 AVB überhaupt zur Anwendung gelangt sei, während die Vorinstanz bei den Neurenten (im Ergebnis zu Recht) eine von Art. 7 i.V.m. Art. 4 AVB abweichende Regelung angewendet habe. Auf die diesbezüglichen Rügen braucht indessen, soweit sie überhaupt hinreichend begründet sind, nicht im Einzelnen eingegangen zu werden, da sie insgesamt darauf beruhen, dass die Vorinstanz hinsichtlich der Neurenten der Auffassung war, diese würden vom Vertrag nicht erfasst, während sie Art. 7 i.V.m. Art. 4 AVB auf die Altrenten anwandte. Nachdem, wie dargelegt, der Kollektiv-Lebensversicherungsvertrag auch die Rentenverhältnisse erfasst und der Rückerstattungswert für die Neurenten ebenfalls gestützt auf den Kollektiv-Lebensversicherungsvertrag zu ermitteln ist, wird die Rüge, es werde in Verletzung des Gleichbehandlungsgrundsatzes willkürlich zwischen Alt- und Neurenten unterschieden gegenstandslos. Demzufolge ist die Beschwerde der Klägerin abzuweisen, soweit darauf einzutreten ist.
7. Damit ist in Gutheissung der Beschwerde der Beklagten die Klage abzuweisen. Dem Ausgang des Verfahrens entsprechend wird die Klägerin kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG). Die Sache ist an die Vorinstanz zurückzuweisen zu neuer Entscheidung über die Kosten- und Entschädigungsfolgen der Appellation (Dispositiv Abs. 4). Bezüglich der Anschlussappellation (Dispositiv Abs. 2 und 5) beleibt es beim angefochtenen Entscheid. Die Vorinstanz wird schliesslich die Kosten- und Entschädigungsfolgen des erstinstanzlichen Verfahrens zu regeln haben.
Demnach erkennt das Bundesgericht:
1. Die Verfahren A_571/2012 und 4A_579/2012 werden vereinigt.
2. Die Beschwerde der Klägerin (4A_571/2012) wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde der Beklagten (4A_579/2012) wird gutgeheissen, die Absätze 1, 3 und 4 des Urteils des Appellationsgerichts des Kantons Basel-Stadt vom 23. Mai 2012 werden aufgehoben und die Klage wird abgewiesen.
4. Die Gerichtskosten von Fr. 22'000.-- werden der Klägerin auferlegt.
5. Die Klägerin hat die Beklagte für das bundesgerichtliche Verfahren mit Fr. 24'000.-- zu entschädigen.
6. Die Sache wird an die Vorinstanz zurückgewiesen zu neuer Entscheidung über die Kosten- und Entschädigungsfolgen des erstinstanzlichen Verfahrens sowie der Appellation der Beklagten.
7. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 18. März 2013
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak