Faits:
Faits:
A. P._, né en 1929, est au bénéfice d'une rente viagère de la Caisse de pensions de l'Etat de Vaud (ci-après : la CPEV) depuis le 1er juin 1994. M._, né en 1930, est également au bénéfice d'une telle rente depuis le 1er juillet 1995.
Dans une séance du 4 novembre 2002, le Conseil d'Etat du canton de Vaud a décidé que les traitements de ses collaborateurs seraient augmentés dès le 1er janvier 2003 de 1,2 % au titre de l'indexation. Le 11 février 2003, le Conseil d'administration de la CPEV, après avoir consulté l'assemblée des délégués, a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2003. La CPEV a informé les intéressés de cette décision le 25 février 2003.
Dans une séance du 4 novembre 2002, le Conseil d'Etat du canton de Vaud a décidé que les traitements de ses collaborateurs seraient augmentés dès le 1er janvier 2003 de 1,2 % au titre de l'indexation. Le 11 février 2003, le Conseil d'administration de la CPEV, après avoir consulté l'assemblée des délégués, a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2003. La CPEV a informé les intéressés de cette décision le 25 février 2003.
B. Par acte du 27 février 2003, P._ et M._ ont ouvert action devant le Tribunal des assurances du canton de Vaud, en concluant principalement à l'adaptation de leur rente respective au renchérissement dès le mois de janvier 2003. Ils ont par la suite complété leurs conclusions en demandant à ce que ladite adaptation soit accordée à l'ensemble des retraités de l'Etat de Vaud.
Par jugement du 15 septembre 2003, leur demande a été rejetée.
Par jugement du 15 septembre 2003, leur demande a été rejetée.
C. P._ et M._ interjettent recours de droit administratif contre ce jugement, dont ils requiert l'annulation. Ils concluent à ce que les rentes de l'ensemble des retraités de l'Etat de Vaud soient indexées de 1,2 % à compter du 1er janvier 2003.
La CPEV conclut au rejet du recours sous suite de dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le Tribunal fédéral des assurances examine d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> et la jurisprudence citée).
1.1 A qualité pour recourir, selon l'art. 103 let. a OJ applicable en vertu du renvoi de l'art. 132 OJ, quiconque est atteint par la décision attaquée et a un intérêt digne de protection à ce qu'elle soit annulée ou modifiée. La jurisprudence considère comme intérêt digne de protection tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée que peut faire valoir une personne atteinte par cette dernière.
L'intérêt digne de protection consiste ainsi en l'utilité pratique que l'admission du recours apporterait au recourant ou, en d'autres termes, dans le fait d'éviter un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait. L'intérêt doit être direct et concret; en particulier, la personne doit se trouver dans un rapport suffisamment étroit avec la décision; tel n'est pas le cas de celui qui n'est atteint que de manière indirecte ou médiate (<ref-ruling> consid. 1b, 125 V 342 consid. 4a et les références). Par ailleurs le recours d'un particulier formé dans l'intérêt de la loi ou d'un tiers est irrecevable (<ref-ruling> consid. 2c).
En application de l'art. 103 let. a OJ, une association peut être admise à agir par la voie du recours de droit administratif, sans être elle-même touchée par la décision entreprise, pour autant qu'elle ait pour but statutaire la défense des intérêts dignes de protection de ses membres, que ces intérêts soient communs à la majorité ou au moins à un grand nombre d'entre eux et, enfin, que chacun de ceux-ci ait qualité pour s'en prévaloir à titre individuel (<ref-ruling> précité; arrêt A. du 21 octobre 1996, [B 27/94], cité in: SVR 1997 BVG n° 71 p. 217).
1.2 Dans le cas d'espèce, P._ et M._ sont respectivement X._ et Y._ de l'Union des retraités de l'État de Vaud. Cela étant, dès lors que les prénommés n'agissent pas au nom de cette association - dont il n'y a par conséquent pas lieu d'examiner plus avant la qualité éventuelle pour recourir -, ils ne sauraient prendre des conclusions en faveur de l'ensemble des retraités de l'État de Vaud; à ce titre, celles-ci sont donc irrecevables. Il y a toutefois lieu d'interpréter les conclusions prises au regard de l'écriture du recours selon le principe de la bonne foi (<ref-ruling>) et de considérer que les recourants concluent en réalité à l'indexation dès le 1er janvier 2003 des pensions que la CPEV leur verse. Dans cette mesure, il convient d'entrer en matière.
1.2 Dans le cas d'espèce, P._ et M._ sont respectivement X._ et Y._ de l'Union des retraités de l'État de Vaud. Cela étant, dès lors que les prénommés n'agissent pas au nom de cette association - dont il n'y a par conséquent pas lieu d'examiner plus avant la qualité éventuelle pour recourir -, ils ne sauraient prendre des conclusions en faveur de l'ensemble des retraités de l'État de Vaud; à ce titre, celles-ci sont donc irrecevables. Il y a toutefois lieu d'interpréter les conclusions prises au regard de l'écriture du recours selon le principe de la bonne foi (<ref-ruling>) et de considérer que les recourants concluent en réalité à l'indexation dès le 1er janvier 2003 des pensions que la CPEV leur verse. Dans cette mesure, il convient d'entrer en matière.
2. Selon les dispositions légales en vigueur jusqu'au 31 décembre 2002, les pensions en cours étaient, aux termes de l'art. 34 de la Loi sur la Caisse de pensions de l'État de Vaud du 18 juin 1984 (LCP; RSV 172.43), adaptées au renchérissement selon le calcul prévu à l'article 54 de la Loi sur le statut général des fonctions publiques cantonales du 9 juin 1947 (Statut). Suivant cette dernière disposition le Conseil d'État adapte les traitements au coût de la vie le 1er janvier de chaque année, sur la base de l'indice des prix à la consommation du mois d'octobre de l'année écoulée.
La LCP a été modifiée par le Grand Conseil du canton de Vaud dans une Loi du 12 novembre 2001. Quant au Statut, il a été abrogé par la Loi sur le personnel de l'État de Vaud du 12 novembre 2001 (RSV 172.31). Ces modifications sont entrées en vigueur le 1er janvier 2003. Le nouvel article 34 de la LCP a la teneur suivante : «Par décision annuelle du Conseil d'administration, fondée notamment sur l'avoir du fonds de compensation, la Caisse, après consultation de l'Assemblée des délégués, peut accorder des allocations de renchérissement aux pensionnés, pour tenir compte de l'évolution de l'indice suisse des prix à la consommation (al. 1). Le fonds de compensation doit assurer le paiement au fonds des allocations de renchérissement en cours de la valeur en capital des allocations de renchérissement accordées aux pensionnés (al. 2).»
Il est admis par les parties que la modification légale a pour effet de changer le système de l'adaptation des rentes au renchérissement. Alors que jusqu'au 31 décembre 2002, l'adaptation avait lieu automatiquement chaque année et dans la même mesure que celle des traitements, la nouvelle disposition confère cette compétence au Conseil d'administration de la CPEV qui peut en décider en fonction de l'avoir du fonds de compensation.
Il est admis par les parties que la modification légale a pour effet de changer le système de l'adaptation des rentes au renchérissement. Alors que jusqu'au 31 décembre 2002, l'adaptation avait lieu automatiquement chaque année et dans la même mesure que celle des traitements, la nouvelle disposition confère cette compétence au Conseil d'administration de la CPEV qui peut en décider en fonction de l'avoir du fonds de compensation.
3. Dans un premier moyen, les recourants font valoir que ce n'est pas la nouvelle mais l'ancienne réglementation légale qui est applicable ratione temporis.
3.1 En l'absence de dispositions transitoires topiques dans la Loi du 12 novembre 2001, cette question doit être tranchée selon les règles générales sur l'application du droit public dans le temps et l'espace (droit intertemporel).
Selon ces principes, l'on applique, en cas de changement de règles de droit, les dispositions en vigueur lors de la réalisation de l'état de fait qui doit être apprécié juridiquement ou qui a des conséquences juridiques (<ref-ruling> s. consid. 2.2 et 2.3, 129 V 4 consid. 1.2 et la référence; <ref-ruling> consid. 1a). Leur application ne soulève pas de difficultés en présence d'un événement unique, qui peut être facilement isolé dans le temps. En présence d'un état de choses durable, non encore révolu lors du changement de législation, le nouveau droit est en règle générale applicable, sauf disposition transitoire contraire (rétroactivité impropre).
3.2 Le fait déterminant est ici l'adaptation des pensions pour l'année 2003 (dès le 1er janvier). Par conséquent, seul le nouveau droit est applicable, même si la cause de l'adaptation, soit l'augmentation de l'indice suisse des prix à la consommation, est antérieure (voir aussi Moor, Droit administratif, vol. I, 2e éd., p. 173). Contrairement à ce que voudraient les recourants, ils ne sauraient rien tirer en leur faveur de la prétendue pratique du Conseil d'État consistant à décider dans le dernier trimestre de l'année de l'adaptation des traitements et pensions pour l'année suivante. D'une part, il n'existait aucune obligation pour l'autorité exécutive cantonale de statuer avant ou après le 1er janvier de l'année en cause, la loi se limitant à fixer l'entrée en vigueur de l'adaptation éventuelle au 1er janvier. D'autre part, supposé cette pratique dûment établie et reconnue, la décision relative à l'adaptation des rentes pouvait et devait néanmoins être prise, eu égard aux principes rappelés ci-dessus, sur la base du droit applicable dès le premier janvier de l'année suivante.
3.2 Le fait déterminant est ici l'adaptation des pensions pour l'année 2003 (dès le 1er janvier). Par conséquent, seul le nouveau droit est applicable, même si la cause de l'adaptation, soit l'augmentation de l'indice suisse des prix à la consommation, est antérieure (voir aussi Moor, Droit administratif, vol. I, 2e éd., p. 173). Contrairement à ce que voudraient les recourants, ils ne sauraient rien tirer en leur faveur de la prétendue pratique du Conseil d'État consistant à décider dans le dernier trimestre de l'année de l'adaptation des traitements et pensions pour l'année suivante. D'une part, il n'existait aucune obligation pour l'autorité exécutive cantonale de statuer avant ou après le 1er janvier de l'année en cause, la loi se limitant à fixer l'entrée en vigueur de l'adaptation éventuelle au 1er janvier. D'autre part, supposé cette pratique dûment établie et reconnue, la décision relative à l'adaptation des rentes pouvait et devait néanmoins être prise, eu égard aux principes rappelés ci-dessus, sur la base du droit applicable dès le premier janvier de l'année suivante.
4. Dans un deuxième moyen, les recourants soutiennent être au bénéfice d'un droit acquis à l'augmentation annuelle de leur pension auquel il ne peut être dérogé en leur défaveur.
4.1 En matière de prévoyance plus étendue, comme dans le cas d'espèce, il n'existe aucune obligation légale découlant de la LPP d'adapter les rentes au renchérissement. Cette question est réglée exclusivement, lorsqu'il s'agit d'institutions destinées aux employés de collectivités, par les normes de droit public qui les régissent.
Selon la jurisprudence, une modification du règlement ou des statuts de l'institution de prévoyance est admissible pour autant qu'elle ne s'avère pas arbitraire ou conduise à une inégalité de traitement entre les assurés (art. 8 al.1 et 9 St). Quant à la garantie des droits acquis, elle porte sur ceux qui découlent de dispositions légales impératives et dont, par voie de conséquence, le destinataire ne saurait être privé. En réalité, c'est leur existence qui est garantie et non leur ampleur exacte que la loi ou les statuts ont pour tâche de fixer. Celle-ci ne peut avoir qualité de droit acquis que lorsque la modification de la réglementation n'est pas autorisée (SVR 2000 BVG n° 12, p. 57 et les références; voir également <ref-ruling> consid. 3.3 et 83 consid. 3.2.5).
4.2 En l'espèce, le législateur cantonal était à l'évidence en droit de modifier la LCP sur le point précis de l'adaptation des rentes au renchérissement. En effet, la réglementation cantonale n'avait pas, dans ses anciennes dispositions, fixé une fois pour toutes les relations en cause pour les soustraire aux modifications légales. Or dans un tel cas, qui est au demeurant une situation courante, les droits à des prestations financières des employés des collectivités publiques comme des anciens employés n'ont en principe pas le caractère de droit acquis, sous réserve des exceptions mentionnées ci-dessus (cf. <ref-ruling> consid. 5). Dans ce sens, il n'existe pas de garantie fondée sur le principe de la bonne foi. Les recourants ne sauraient rien déduire non plus des dispositions transitoires de la loi du 12 novembre 2001 qui n'accordent expressément la garantie des prestations que pour le montant des pensions en cours. Dès lors qu'il a été procédé de manière non critiquable à la modification de la loi, l'adaptation au renchérissement ne peut être considérée ici comme un droit acquis au même titre que la rente servie.
4.2 En l'espèce, le législateur cantonal était à l'évidence en droit de modifier la LCP sur le point précis de l'adaptation des rentes au renchérissement. En effet, la réglementation cantonale n'avait pas, dans ses anciennes dispositions, fixé une fois pour toutes les relations en cause pour les soustraire aux modifications légales. Or dans un tel cas, qui est au demeurant une situation courante, les droits à des prestations financières des employés des collectivités publiques comme des anciens employés n'ont en principe pas le caractère de droit acquis, sous réserve des exceptions mentionnées ci-dessus (cf. <ref-ruling> consid. 5). Dans ce sens, il n'existe pas de garantie fondée sur le principe de la bonne foi. Les recourants ne sauraient rien déduire non plus des dispositions transitoires de la loi du 12 novembre 2001 qui n'accordent expressément la garantie des prestations que pour le montant des pensions en cours. Dès lors qu'il a été procédé de manière non critiquable à la modification de la loi, l'adaptation au renchérissement ne peut être considérée ici comme un droit acquis au même titre que la rente servie.
5. Conformément au nouvel art. 34 LCP, le Conseil d'administration de la CPEV a pris sa décision, après avoir consulté, en date du 4 février 2003, l'assemblée des délégués. Au vu de la situation financière de l'avoir de compensation, il a renoncé à adapter les pensions des retraités au renchérissement pour l'année 2003.
Il ressort des documents déposés en cours de procédure, notamment du rapport de gestion de la CPEV 2002, que le résultat de l'exercice 2002 de l'intimée a été fortement négatif (409'094'220 francs ont dû être prélevés à cette fin dans le capital de couverture). Le taux de couverture a ainsi passé en une année de 71,7 % à 64,1 %. Quant à l'avoir du fonds de compensation, abstraction faite des transferts obligatoires découlant de la modification de la LCP, il s'élevait au 31 décembre 2002 à 32'174'000 francs. Comme l'allocation de renchérissement pour 2003 aurait représenté une valeur en capital d'un montant non contesté de l'ordre de 45 millions (cf. art. 144i LCP), une décision dans le sens d'une adaptation des rentes aurait eu pour effet de rendre le solde de ce fond négatif. Au regard des conditions légales de l'art. 34 nouveau LCP, la décision du Conseil d'administration de la CPEV n'apparaît donc pas critiquable.
Il ressort des documents déposés en cours de procédure, notamment du rapport de gestion de la CPEV 2002, que le résultat de l'exercice 2002 de l'intimée a été fortement négatif (409'094'220 francs ont dû être prélevés à cette fin dans le capital de couverture). Le taux de couverture a ainsi passé en une année de 71,7 % à 64,1 %. Quant à l'avoir du fonds de compensation, abstraction faite des transferts obligatoires découlant de la modification de la LCP, il s'élevait au 31 décembre 2002 à 32'174'000 francs. Comme l'allocation de renchérissement pour 2003 aurait représenté une valeur en capital d'un montant non contesté de l'ordre de 45 millions (cf. art. 144i LCP), une décision dans le sens d'une adaptation des rentes aurait eu pour effet de rendre le solde de ce fond négatif. Au regard des conditions légales de l'art. 34 nouveau LCP, la décision du Conseil d'administration de la CPEV n'apparaît donc pas critiquable.
6. La CPEV, qui obtient gain de cause, a conclu à l'allocation d'une indemnité de dépens. Conformément à l'art. 159 al. 2 OJ, dans les procédures de recours ou d'action de droit administratif, aucune indemnité pour les frais de procès n'est allouée, en règle générale, aux autorités qui obtiennent gain de cause et aux organismes chargés de tâches de droit public.
Selon la jurisprudence, les institutions de prévoyance sont assimilées à de telles autorités, de sorte que, en règle ordinaire, aucune indemnité de dépens ne leur est allouée, qu'elles soient ou non représentées par un avocat (<ref-ruling> consid. 3 et 362 consid. 6). Une exception à ce principe ne se justifie pas en l'espèce.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est rejeté.
1. Dans la mesure où il est recevable, le recours est rejeté.
2. Il n'est pas perçu de frais de justice, ni alloué de dépens.
2. Il n'est pas perçu de frais de justice, ni alloué de dépens.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 11 avril 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: