Faits:
A. P._ travaillait en qualité de secrétaire de direction pour le compte de l'EMS X._, lorsqu'en date du 1er décembre 1991, elle a été victime d'un accident, à la suite duquel elle a été mise au bénéfice d'une rente entière de l'assurance-invalidité dès le 1er décembre 1992 (décision de la Commission AI du canton de Vaud du 26 janvier 1994).
En sa qualité d'employée de l'EMS X._, P._ était assurée en prévoyance professionnelle auprès de la Fondation collective LPP Y._. A ce titre, celle-ci lui a versé dès le 1er juillet 1996 une rente annuelle de 864 fr., qui tenait compte d'une surindemnisation.
Par lettre du 2 décembre 1997, V._ a informé P._ qu'elle avait effectué le transfert des réserves de sinistres relatives à son cas d'invalidité au Fonds de prévoyance de l'association vaudoise d'établissements médico-sociaux (AVDEMS), que l'assurance auprès de V._ était en conséquence annulée et que la couverture d'assurance était reprise, dès le 1er janvier 1998, par l'AVDEMS (devenu par la suite le Fonds de prévoyance des EMS).
Le 11 juin 2004, P._ s'est adressée à ce dernier pour demander une revalorisation de sa rente et des renseignements sur son droit à des prestations pour ses deux filles L._ et D._.
Par demandes des 18 novembre et 1er décembre 2005, P._ a actionné le Fonds de prévoyance des EMS et Z._. Dans ses conclusions contre le recourant, P._ a demandé l'octroi d'une rente pour chacune de ses filles de 20 % de sa propre rente et le versement pour elle d'une rente non plafonnée ou plafonnée au maximum en fonction du salaire d'une directrice d'EMS pour la période du 1er janvier 1998 au 31 décembre 2007. Une transaction a mis fin à la procédure contre Z._.
Le Fonds de prévoyance des EMS s'est opposé à la demande estimant que le calcul de la rente effectué par V._ était exact et qu'aucune indexation n'était prévue par le règlement de prévoyance.
B. Par jugement du 28 décembre 2009, la Cour des assurances sociales du Tribunal cantonal vaudois a admis partiellement la demande et a condamné le Fonds de prévoyance des EMS à verser divers montants à P._ pour les années 1998 à 2007 avec intérêts à 5 % à titre de rentes d'invalidité.
C. Le Fonds de prévoyance des EMS interjette un recours en matière de droit public contre ce jugement. Il conclut à son annulation et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.
P._ conclut, sous suite de dépens, au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
2. Le droit applicable est déterminé par les règles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 129 V 1 consid. 1.2 p. 4). En l'espèce, le litige porte sur les conséquences de la résiliation au 31 décembre 1997 du contrat de prévoyance professionnelle conclu entre la Fondation collective LPP Y._, comme institution de prévoyance professionnelle, et la Fondation EMS X._, en qualité d'employeur, singulièrement sur l'applicabilité à l'intimée du règlement de prévoyance en vigueur avant la résiliation du contrat d'affiliation. Ne sont dès lors pas applicables les dispositions sur la résiliation des contrats adoptées par le législateur dans le cadre de la première révision de la LPP et entrées en vigueur le 1er avril 2004 (en particulier l'art. 53e LPP) et celles de la novelle du 20 décembre 2006, entrées en vigueur le 1er mai 2007 (en particulier l'art. 53e al. 4bis LPP).
3. 3.1 Les juges cantonaux ont admis que dans le domaine surobligatoire, le règlement de prévoyance professionnelle des employés de la Fondation EMS X._ (ci-après: ancien règlement) était encore applicable à P._ même après la résiliation du contrat conclu avec la Fondation collective LPP Y._. Pour eux, la nouvelle institution de prévoyance ne pouvait pas modifier ce règlement unilatéralement pour d'autres motifs qu'une adaptation aux lois en vigueur car celui-ci ne donnait pas cette compétence au conseil de fondation. De plus, l'autorité cantonale a retenu que P._ n'avait jamais admis tacitement les modifications du règlement.
3.2 Le recourant conteste ce point de vue et considère que le nouveau règlement est applicable aussi bien aux employés actifs qu'aux rentiers dès le changement d'institution de prévoyance au 1er janvier 1998. Dans son argumentation, il se fonde sur la jurisprudence de l'ATF 127 V 377 qui prévoit qu'un changement d'institution de prévoyance entraîne obligatoirement l'application du règlement de la nouvelle institution de prévoyance sauf accord contraire entre les parties.
3.3 Contrairement à ce que prétend le recourant, le Tribunal fédéral des assurances n'a pas dit dans l'ATF 127 V 377 qu'un changement d'institution de prévoyance avait comme conséquence inévitable l'application d'un nouveau règlement, sous réserve d'accords différents entre les parties. En premier lieu, il a rappelé que selon l'ATF 125 V 421 consid. 6a p. 427, lorsqu'un employeur résiliait le contrat d'affiliation le liant à une institution de prévoyance, celle-ci n'était pas tenue de manière absolue de conserver les personnes au bénéfice d'une rente et de leur servir les prestations légales et réglementaires. Dans le sens d'une exigence minimale de droit fédéral, les dispositions réglementaires de la caisse devaient cependant prévoir une réglementation correspondante; en cas de changement d'affiliation, le sort des personnes au bénéfice d'une rente devait ainsi être clairement précisé. A défaut d'une telle réglementation, il fallait partir du principe que les bénéficiaires de rentes concernés n'étaient pas touchés par ledit changement et avaient droit à ce que l'institution de prévoyance, à laquelle ils étaient assurés au moment de la survenance du cas de prévoyance, continue de leur verser les prestations légales et réglementaires (ATF 125 V 421 consid. 6a p. 427). On précisera que cette pratique est désormais codifiée à l'art. 53e al. 4 de la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité (LPP; RS 831.40), en vigueur depuis le 1er avril 2004.
Le Tribunal fédéral des assurances a ensuite considéré que lorsque les personnes assurées (actives et passives) n'étaient pas affiliées de manière primaire à une institution de prévoyance, telle une fondation collective (comme c'était le cas dans l'ATF 125 V 421), mais à une oeuvre de prévoyance spécifique créée pour un employeur particulier avec une comptabilité propre, la situation était différente. L'appartenance de ces assurés à la caisse de prévoyance de l'employeur, gérée dans le cadre de la fondation collective, se fondait exclusivement et inconditionnellement sur le contrat d'affiliation qui formait un tout, au plan juridique, avec le contrat d'assurance collective et le règlement de prévoyance. La situation contractuelle d'affiliation déterminait le sort des bénéficiaires de rentes (ATF 127 V 377 consid. 5c/bb p. 385 s.). Dans une fondation collective de droit privé, la prévoyance professionnelle reposait directement sur les contrats d'assurance conclus conformément à l'art. 68 LPP. La fondation collective qui, du point de vue organisationnel, mettait à la disposition de l'employeur une ?uvre de prévoyance, ne constituait en fait qu'un instrument intermédiaire entre l'employeur et la compagnie d'assurance, afin de permettre l'application de la prévoyance professionnelle selon les dispositions de la LPP. Dans ce système, il n'existait pas de contrat d'affiliation sans contrat d'assurance collective correspondant. Lorsque la résiliation du contrat d'affiliation entraînait la fin du contrat d'assurance collective, on ne pouvait pas objecter que le sort des personnes déjà au bénéfice d'une rente n'était pas explicitement réglé; au contraire, celles-ci faisaient partie du cercle des personnes couvertes par le contrat d'affiliation et d'assurance collective, raison pour laquelle les conséquences juridiques prévues en cas de résiliation du contrat d'affiliation s'étendaient également à elles (ATF 127 V 377 consid. 5c/cc p. 387).
3.4 En l'espèce, la Fondation collective LPP Y._ a créé une institution de prévoyance séparée pour assumer les obligations de la Fondation EMS X._ en matière de prévoyance professionnelle. Dans le but de remplir les obligations qui lui incombaient en vertu du règlement de prévoyance, elle a conclu un contrat d'assurance collective avec V._. Les droits et les obligations de la Fondation EMS X._ et de la fondation de prévoyance étaient fixés par le règlement de prévoyance.
Dans le cadre du mandat qui lui a été confié (art. B 1.1 ch. 2 du règlement de prévoyance), la Fondation collective LPP Y._ a conclu avec V._ le contrat d'assurance collective N° A._. C'est sur la base de ce dernier que V._ a alloué à l'intimée, par courrier du 30 avril 1996, une rente annuelle de 864 fr. après avoir procédé à un calcul de surindemnisation. Par lettre du 2 décembre 1997, V._ a informé l'intimée de l'annulation du contrat d'assurance collective N° A._ ainsi que du fait que les réserves de sinistres relatives à son cas d'invalidité avaient été transférées au Fonds de prévoyance des EMS (soit le recourant), lequel reprenait sa couverture en prévoyance professionnelle dès le 1er janvier 1998.
Il est dès lors incontesté en l'espèce que la résiliation du contrat d'affiliation entre la Fondation EMS X._ et la Fondation collective LPP Y._ a eu pour effet l'annulation du contrat d'assurance collective entre les parties précitées ainsi que le passage de l'intimée dans le Fonds de prévoyance des EMS. Il reste encore à examiner si ce dernier devait continuer à appliquer l'ancien règlement de prévoyance pour calculer la rente de l'intimée ou s'il était en droit d'appliquer son propre règlement.
4. Le règlement d'une fondation de prévoyance en faveur du personnel, dont l'activité s'exerce dans le domaine de la prévoyance plus étendue, est le contenu préformé du contrat de prévoyance, à savoir ses conditions générales. Ledit règlement ne peut être modifié unilatéralement par la fondation que s'il réserve expressément cette possibilité dans une disposition. A défaut d'une telle réserve, il faut un accord exprès ou tacite de l'assuré manifestant qu'il accepte de se soumettre aux nouvelles règles (ATF 117 V 221 consid. 4 p. 226).
4.1 Les premiers juges ont retenu que l'ancien règlement ne prévoyait pas une réserve générale de modification, mais seulement la possibilité pour le recourant de changer unilatéralement le règlement afin de s'adapter à l'évolution de la législation en vigueur. D'autre part, l'intimée avait certes été informée du changement d'institution de prévoyance mais, dans la mesure où elle avait continué à percevoir le même montant de sa rente que précédemment, la question de savoir quel règlement lui était applicable n'était pas directement reconnaissable par elle. On ne pouvait dès lors admettre qu'elle avait tacitement accepté une modification du règlement de prévoyance. Par conséquent, seul l'ancien règlement était applicable dans le cas d'espèce.
Pour sa part, le recourant fait valoir que depuis le 1er janvier 1998, l'intimée savait que sa rente d'invalidité réduite était versée par le recourant. Elle avait reçu l'ensemble des circulaires relatives à la fondation, y compris celles relatives aux dispositions réglementaires, notamment en matière de surindemnisation. De plus, elle avait été expressément informée, par courrier du 2 décembre 1997 de V._ de l'annulation de son assurance auprès de la Fondation collective de ladite assurance. Or, l'intimée n'avait jamais protesté, ni contesté l'application du règlement du recourant, de sorte qu'il y avait lieu d'en conclure qu'elle avait tacitement accepté l'application du nouveau règlement.
4.2 La question de savoir lequel, de l'ancien ou du nouveau règlement, est applicable lorsqu'il est prévu que les rentiers quittent l'institution de prévoyance lors de la résiliation du contrat d'affiliation est désormais réglée, depuis le 1er mai 2007, à l'art. 53e al. 4bis LPP. Rien en l'espèce ne vient en tous les cas étayer les allégations du recourant selon lesquelles, lors de la reprise du contrat d'affiliation de l'ancien employeur de l'intimée au 1er janvier 1998, le nouveau règlement aurait été déclaré applicable également à tous les rentiers.
5. L'intimée estime que l'application de l'ancien règlement se justifie en tout état de cause sous l'angle de la garantie de ses droits acquis car elle était déjà au bénéfice d'une rente lors de son transfert dans la nouvelle institution de prévoyance au 1er janvier 1998.
Selon la jurisprudence, le règlement d'une institution de prévoyance peut être modifié même en l'absence de toute disposition réservant un changement de réglementation, à condition toutefois de respecter les principes d'égalité de traitement et d'interdiction de l'arbitraire (ATF 134 I 23 consid. 7.2 p. 36 et les références citées). Les droits acquis ne naissent en faveur des personnes concernées que si la loi a fixé une fois pour toutes les relations en cause pour les soustraire aux effets des modifications légales, ou lorsque des assurances précises ont été données à l'occasion d'un engagement individuel. En matière de prévoyance plus-étendue, seul le droit à la rente comme tel constitue un droit acquis, lequel n'est pas touché par un changement des paramètres de calcul de la surindemnisation, même si ce changement peut avoir une incidence sur le montant des prestations d'assurance en cours. En l'occurrence, le montant réduit effectivement versé de la rente d'invalidité en cours a cependant été garanti à l'intimée. En revanche, le recourant n'a jamais garanti à l'intimée une majoration de sa rente d'invalidité en application des dispositions sur le calcul de la surindemnisation contenues dans l'ancien règlement. Dès lors que la réglementation en matière de calcul de la surindemnisation prévue par le nouveau règlement ne porte pas atteinte au droit à la rente comme tel, les droits acquis de l'intimée ne sont pas touchés par l'application du nouveau règlement (ATF 134 I 23 consid. 7.2 p. 36; SVR 2009 BVG n° 11 p. 34 consid. 4.2, 2007 BVG n° 35 p. 125 consid. 2.2). C'est par conséquent à tort que la juridiction cantonale a condamné le recourant à payer à l'intimée divers montants représentant des soldes de rentes dus pour les années 1998 à 2007, en vertu des règles de calcul de la surindemnisation prévues par l'ancien règlement.
6. 6.1 L'intimée allègue que l'art. 25 - devenu l'art. 26 depuis le 1er janvier 2005 - du règlement du Fonds de prévoyance des EMS n'est pas conforme à l'art. 24 OPP 2. Pour elle, le fait de calculer le cumul des prestations sur la base du dernier salaire cotisant, respectivement du dernier salaire cotisant en vigueur lors de la survenance du risque assuré, viole le principe retenu par l'art. 24 OPP 2 qui veut qu'on se fonde sur le gain annuel dont on peut présumer que l'intéressé est privé. Si cette disposition de l'OPP 2 ne devait pas être applicable à la prévoyance surobligatoire, l'intimée demande qu'on procède à un « splitting » de la prestation et qu'on calcule séparément la part obligatoire et surobligatoire.
6.2 En l'absence de volonté du législateur de rendre l'art. 24 OPP 2 applicable dans la prévoyance surobligatoire, il faut retenir que cette disposition ne s'applique qu'au domaine obligatoire. Toutefois, cette différence ne justifie pas un « splitting », qui a par ailleurs été exclu par la jurisprudence (ATF 115 V 27 consid. 4 p. 31 ss), mais il y a lieu de procéder à un calcul comparatif afin de déterminer si l'application du règlement de prévoyance, in casu l'art. 25 respectivement 26, ne conduit pas à un versement de prestations inférieures au minimum LPP. Cette question ne pouvant pas être jugée sur la base des éléments du dossier, l'affaire doit être retournée à la juridiction cantonale pour qu'elle examine cet aspect du cas.
7. L'art. 36 LPP, en vigueur depuis le 1er janvier 2005 (1ère révision de la LPP), a introduit une adaptation des rentes à l'évolution des prix. Cette disposition a été rendue partiellement applicable à la prévoyance surobligatoire (art. 49 al. 2 ch. 5 LPP). Les droits de l'intimée, qui fait valoir des prétentions issues d'une indexation des rentes, n'ont pas été examinés sous cet angle. Il appartiendra également à l'autorité cantonale de statuer sur ce point.
Compte tenu de ce qui précède, le recours doit être admis et l'affaire renvoyée à la juridiction cantonale pour statuer conformément aux considérants.
8. Le recourant obtient gain de cause. La procédure étant onéreuse, les frais judiciaires sont mis à la charge de l'intimée qui succombe (art. 66 al. 1, première phrase, LTF en corrélation avec l'art. 65 al. 2 et 3 let. b LTF). Le recourant n'a toutefois pas droit à une indemnité de dépens dans la mesure où il exerce une tâche de droit public (art. 68 al. 3 LTF, ATF 126 V 143 consid. 4a).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement de la Cour des assurances sociales du Tribunal cantonal vaudois du 28 décembre 2009 est annulé, la cause étant renvoyée à l'autorité judiciaire de première instance pour qu'elle statue à nouveau conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de P._.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 20 décembre 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz Perrin