Faits:
A. X._, association internationale indépendante, avait confié à la Winterthur-Columna fondation LPP (dont la raison sociale est aujourd'hui Axa Fondation LPP; ci-après: la fondation de prévoyance) le soin de couvrir son personnel pour les risques vieillesse, survivants et invalidité en matière de prévoyance professionnelle. Les rapports entre les parties étaient notamment régis par les contrats d'adhésion n° Y._ et Z._ du 8 février 1994.
Par lettres des 4 et 29 avril 1996, X._ a résilié son affiliation à la fondation de prévoyance pour le 31 décembre 1996. Elle entendait à partir de cette date confier la gestion de la prévoyance professionnelle de son personnel à sa propre institution, la Caisse de pension du personnel de X._ (ci-après: la caisse X._), créée le 12 août 1996 et inscrite au registre du commerce du canton de N._ le 27 août suivant.
En mai 1996, la fondation de prévoyance a accusé réception de cette résiliation et informé X._ que celle-ci ne pouvait concerner que les employés actifs de l'association, les rentes en cours continuant à être servies par elle-même jusqu'à leur terme (lettres des 6 et 17 mai 1996). X._ a contesté ce point de vue et requis le transfert des réserves mathématiques des bénéficiaires de rentes à la nouvelle institution (lettre du 28 mai 1996). Après une série d'échanges de vues, la fondation de prévoyance s'est déclarée disposée à verser à la caisse X._ "100 % des réserves mathématiques afférant aux rentes en cours actuellement servies" (lettre du 19 septembre 1996) et lui a, à ce titre, transféré la somme de 17'212'002 fr.
A la suite de la révision de son premier exercice comptable, la caisse X._ a interpellé la fondation de prévoyance sur le fait que les réserves transférées ne suffisaient pas à couvrir ses engagements, la situation laissant apparaître un déficit technique de 1'669'366 fr. (lettre du 19 juin 1998). La fondation de prévoyance a refusé d'entrer en matière sur les griefs précités, au motif que le montant des réserves mathématiques avait été calculé conformément aux tarifs applicables (lettres des 23 juin 1998 et 18 mars 1999). Après s'être fait céder par X._ les droits découlant des contrats d'adhésion, la caisse X._ a réclamé par voie de poursuite le paiement de la somme de 957'238 fr.
B. B.a Le 1er octobre 2002, la caisse X._ a ouvert action contre la fondation de prévoyance devant le Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal du canton de Vaud, Cour des assurances sociales) et conclu au paiement par celle-ci de la somme de 957'238 fr., avec intérêt à 5 % dès le 1er janvier 1997, ainsi qu'à la levée de l'opposition formée à la poursuite n° V._ de l'Office des poursuites de S._.
Par jugement du 29 juin 2004, dont la rédaction a été approuvée le 14 janvier 2005, le Tribunal vaudois des assurances a rejeté la demande. Saisi d'un recours de la caisse X._, le Tribunal fédéral des assurances l'a admis en ce sens qu'il a annulé le jugement entrepris et renvoyé la cause à la juridiction cantonale pour complément d'instruction au sens des considérants et nouveau jugement (arrêt B 29/05 du 26 septembre 2006).
B.b Reprenant l'instruction de la cause, la juridiction cantonale a confié une expertise à K._, expert en assurances de pensions auprès de W._ SA, dont le but était de présenter des conclusions concernant le calcul des réserves mathématiques des rentes en cours à la date de la résiliation de l'affiliation de X._ à la fondation de prévoyance. Après que l'expert a rendu son rapport le 26 mars 2009, la caisse X._ a augmenté ses conclusions en paiement à 2'295'478 fr. Statuant le 20 juillet 2010, la Cour des assurances sociales du Tribunal cantonal vaudois a débouté la caisse X._.
C. Agissant par la voie du recours en matière de droit public, la caisse X._ demande au Tribunal fédéral de réformer le jugement cantonal en ce sens que la fondation de prévoyance soit condamnée à lui payer un montant de 2'295'478 fr., plus intérêts à 5 % dès le 1er janvier 1997, et que l'opposition formée par la fondation de prévoyance à la poursuite n° V._ de l'Office des poursuites de S._ soit levée définitivement.
La fondation de prévoyance conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le point de savoir quel montant l'intimée était tenue de transférer à la recourante à titre de réserve mathématique afférente aux rentes en cours, en conséquence de la résiliation au 31 décembre 1996 des contrats d'affiliation souscrits par X._.
2. 2.1 Les arrêts du Tribunal fédéral acquièrent force de chose jugée le jour où ils sont prononcés (art. 61 LTF; cf. aussi art. 38 aOJ). Ils sont notamment revêtus de la force matérielle ou autorité de chose jugée, ce qui signifie que le jugement lie les parties à la procédure ainsi que les autorités qui y ont pris part. En principe, seul le dispositif du jugement est revêtu de l'autorité de chose jugée. Toutefois, lorsque le dispositif se réfère expressément aux considérants, ceux-ci acquièrent eux-mêmes la force matérielle (ATF 112 Ia 353 consid. 3c/bb p. 354).
Ainsi, lorsque le Tribunal fédéral rend un jugement dont le dispositif prévoit que la décision attaquée est annulée et l'affaire renvoyée à l'autorité intimée pour qu'elle statue à nouveau dans le sens des considérants, cette dernière est liée par la motivation juridique de l'arrêt de renvoi. Ce principe, qui était exprimé en matière civile à l'art. 66 al. 1 aOJ, est applicable même en l'absence de texte et vaut, partant, dans la procédure administrative en général (ATF 117 V 237 consid. 2a p. 241); la jurisprudence du Tribunal fédéral y relative (rendue en rapport avec l'art. 66 al. 1 aOJ) reste applicable sous l'empire de la LTF (arrêt 4A_71/2007 du 19 octobre 2007, consid. 2.1 et 2.2). L'autorité inférieure est dès lors tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Elle voit donc sa latitude de jugement limitée par les motifs du jugement de renvoi, en ce sens qu'elle est liée par ce qui a été déjà définitivement tranché par le Tribunal fédéral ainsi que par les constatations de fait qui n'ont pas été critiquées devant lui (cf. ATF 131 III 91 consid. 5.2 p. 94; 120 V 233 consid. 1a p. 237). Saisi d'un recours contre la nouvelle décision, le Tribunal fédéral est aussi lié par son arrêt de renvoi (ATF 125 III 421 consid. 2a p. 423; Jean-Maurice Frésard, Commentaire de la LTF, 2009, ad art. 61 LTF n° 17 p. 436; ULRICH MEYER/ISABEL VON ZWEHL, L'objet du litige en procédure de droit administratif fédéral, in: Mélanges Pierre Moor, 2005, n. 30.4 p. 448).
2.2 En l'occurrence, dans son arrêt B 29/05 du 26 septembre 2006 consid. 5.3, le Tribunal fédéral a jugé que l'intimée avait consenti au transfert à la recourante de la réserve mathématique afférente aux rentes en cours et que celle-ci devait être calculée selon les "Dispositions techniques applicables au calcul de la valeur de restitution en cas de résiliation", annexe technique auquel renvoyait l'art. 5.2 des contrats d'adhésion (ci-après: dispositions techniques). Contrairement à ce qu'a retenu la juridiction cantonale, la question de l'application au calcul de la réserve mathématique des règles posées par les art. 5.2 des contrats d'adhésion et l'art. 2 des dispositions techniques a donc été tranchée par le Tribunal fédéral, le 26 septembre 2006. Celui-ci a retenu que la lettre du 11 septembre 1996 ne pouvait être considérée comme une manifestation de volonté de l'intimée de déroger aux règles prévues, mais comme précision qu'elle n'effectuerait aucune déduction (pour risque d'intérêt ou pour frais d'acquisition non encore amortis) sur les réserves mathématiques. Avait en revanche été laissée indécise la question de savoir si le sort des personnes au bénéfice d'une rente suivait, au moment de la résiliation, celui des employés actifs de X._, puisque la fondation de prévoyance avait en définitive consenti au transfert de la réserve mathématique afférente aux rentes en cours [consid. 5.3 de l'arrêt B 29/05]). Il s'ensuit que tant la juridiction cantonale que le Tribunal fédéral sont liés par les considérations de l'arrêt B 29/05 sur l'application des dispositions techniques au calcul de la réserve mathématique.
2.3 En conséquence de l'arrêt de renvoi, la procédure cantonale n'avait pas pour objet de déterminer les principes de calcul applicables à la fixation des réserves mathématiques (puisqu'ils avaient été définis par le Tribunal fédéral), mais à vérifier, à l'aide de mesures d'instruction complémentaires, si le montant de 17'212'002 fr. transféré par l'intimée à la recourante à titre de la réserve mathématique afférente aux rentes en cours au 31 décembre 1996 était conforme aux règles de calcul posées par les dispositions techniques. Dans la mesure où l'autorité judiciaire de première instance s'est employée à interpréter d'autres dispositions conventionnelles et réglementaires, en particulier les conditions générales du contrat d'assurance collective du 12 février 1987 entre la fondation de prévoyance et la Winterthur-Vie (consid. 3d du jugement entrepris), et, partant, s'est écartée des instructions de l'arrêt de renvoi, ces considérations ne peuvent être suivies.
3. 3.1 A leur art. 5.2, les contrats d'adhésion prévoient qu'en cas de résiliation, la valeur de restitution est calculée selon les indications figurant dans l'annexe technique. La valeur de restitution est toutefois égale au minimum à l'avoir de vieillesse LPP pour autant que l'employeur ait satisfait aux obligations contractuelles, que le contrat ait été résilié en bonne et due forme et qu'il ait été en vigueur pendant au moins 3 ans.
D'après l'Annexe au contrat d'adhésion, Dispositions techniques applicables au calcul de la valeur de restitution en cas de résiliation, "la valeur de restitution correspond à la réserve mathématique calculée à la date de la résiliation du contrat d'adhésion, diminuée d'un montant qui comprend le risque d'intérêt et les frais d'acquisition non encore amortis" (ch. 1.). "La réserve mathématique est le montant devant être mis à disposition à un moment donné pour permettre, compte tenu des primes encore dues en application du contrat, de garantir le paiement des prestations assurées. La réserve mathématique est calculée en appliquant les bases tarifaires qui ont servi à déterminer le montant des primes des assurances en cause" (ch. 2.).
3.2 Conformément au mandat d'expertise (cf. projet de questionnaire d'expertise annexé à un courrier du 18 décembre 2007, auquel renvoie le mandat d'expertise du 20 juin 2008), l'expert avait à répondre notamment aux questions de savoir quelles avaient été les bases tarifaires ayant servi à déterminer le montant des primes et quel était, à la date de la résiliation des contrats d'adhésion, sur la base de ces tarifs, le montant de la réserve mathématique afférente à l'entier des rentes en cours à cette date.
Dans son expertise du 26 mars 2009, K._ a fait état des bases tarifaires utilisées par la fondation de prévoyance pour calculer la réserve mathématique, lesquelles correspondaient aux tarifs en vigueur à la date de l'acquisition de la prestation (tarif GRM/F 70 pour les engagements nés avant le 1er janvier 1980, tarif GRM/F 80 pour les engagements nés entre le 1er janvier 1980 et le 31 décembre 1984, splitting de la prestation de rente dès le 1er janvier 1985 jusqu'au 31 décembre 1996 en deux parties en raison de la différence entre le taux de conversion de l'avoir épargné en rente selon la LPP et le taux de conversion découlant du tarif appliqué par la fondation). Expliquant le système appliqué par la fondation de prévoyance, l'expert a précisé que la partie de la rente découlant de la différence entre le taux de conversion de l'avoir épargné en rente selon la loi et le taux de conversion découlant du tarif de la fondation n'était pas financée, aucune réserve mathématique n'ayant été constituée pour cette partie de la rente. Le financement de cette partie n'était en effet pas basé sur un système de capitalisation, mais sur les éventuelles participations aux excédents. Dans la mesure où la compagnie d'assurance garantissait la rente totale, alors que la participation aux excédents n'était pas garantie, il n'était pas clair comment la garantie de la rente était honorée s'il n'y avait pas de participation aux excédents et si la compagnie d'assurance ne constituait pas de réserve à cet effet.
En fonction d'un calcul détaillé, l'expert est arrivé à la conclusion qu'au 31 décembre 1996, la réserve mathématique relative à la partie de la rente financée s'élevait à 17'212'002 fr.; en utilisant les mêmes bases techniques, la réserve mathématique de la rente totale s'élevait à la même date à 19'507'480 fr. (cette réserve n'ayant pas été constituée par la fondation de prévoyance).
3.3 Compte tenu des conclusions de l'expert et de la définition de la réserve mathématique posée au ch. 2 des dispositions techniques (consid. 3.1 supra), le montant de la réserve mathématique à transférer par l'intimée à la recourante s'élève à 19'507'480 fr. Dès lors que la réserve mathématique correspond au "montant devant être mis à disposition à un moment donné pour permettre [...] de garantir le paiement des prestations assurées", il ne peut s'agir que de la réserve mathématique susceptible de couvrir effectivement les rentes en cours à la date déterminante. Puisque la réserve mathématique transférée par l'intimée (17'212'002 fr.) ne correspondait qu'à une partie de la rente, elle ne suffisait pas, le 31 décembre 1996, à "garantir le paiement des prestations assurées", contrairement à "la réserve mathématique de la rente totale", telle que calculée par l'expert.
Par conséquent, l'intimée est tenue de verser à la recourante la différence entre les deux montants en cause, à savoir 2'295'478 fr. S'ajoute à cette somme, un intérêt de 5 % l'an fixé conformément à l'art. 104 al. 1 CO en l'absence de disposition réglementaire ou conventionnelle y relative (cf. ATF 127 V 377 consid. 5 e/bb p. 390) à partir du 1er janvier 1997.
4. En conséquence de ce qui précède les conclusions de la recourante se révèlent bien fondées. Le jugement entrepris doit être réformé en ce sens que la défenderesse est tenue de verser à la recourante le montant de 2'295'478 fr., plus intérêts à 5 % l'an dès le 1er janvier 1997 et que l'opposition formée par l'intimée au commandement de payer notifié dans la poursuite n° V._ de l'Office des poursuites de S._ est définitivement levée à concurrence du montant réclamé de 957'238 fr. avec intérêts à 5 % l'an dès le 1er janvier 1997.
5. Vu l'issue du litige, les frais de justice seront supportés par l'intimée, qui succombe (art. 66 al. 1 LTF). Même si elle obtient gain de cause, la recourante n'a pas droit à une indemnité de dépens dans la mesure où elle exerce une tâche de droit public (art. 68 al. 3 LTF, ATF 126 V 143 consid. 4a).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le ch. 1 du dispositif du jugement de la Cour des assurances sociales du Tribunal cantonal du canton de Vaud du 20 juillet 2010 est réformé en ce sens que les conclusions de la demanderesse sont admises comme il suit:
la défenderesse est condamnée à verser à la demanderesse la somme de 2'295'478 fr., avec intérêts de 5 % l'an à partir du 1er janvier 1997;
l'opposition formée par Axa Fondation LPP, Lausanne, au commandement de payer notifié dans la poursuite n° V._ de l'Office des poursuites de S._ est levée définitivement à concurrence de 957'238 fr. avec intérêts à 5 % l'an dès le 1er janvier 1997.
2. Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge de l'intimée.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 12 mai 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Moser-Szeless