Faits: Faits: A. P._, né en 1929, est au bénéfice d'une rente viagère de la Caisse de pensions de l'Etat de Vaud (ci-après : la CPEV) depuis le 1er juin 1994. M._, né en 1930, est également au bénéfice d'une telle rente depuis le 1er juillet 1995. Dans une séance du 4 novembre 2002, le Conseil d'Etat du canton de Vaud a décidé que les traitements de ses collaborateurs seraient augmentés dès le 1er janvier 2003 de 1,2 % au titre de l'indexation. Le 11 février 2003, le Conseil d'administration de la CPEV, après avoir consulté l'assemblée des délégués, a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2003. La CPEV a informé les intéressés de cette décision le 25 février 2003. Dans une séance du 4 novembre 2002, le Conseil d'Etat du canton de Vaud a décidé que les traitements de ses collaborateurs seraient augmentés dès le 1er janvier 2003 de 1,2 % au titre de l'indexation. Le 11 février 2003, le Conseil d'administration de la CPEV, après avoir consulté l'assemblée des délégués, a décidé de renoncer à accorder une nouvelle allocation de renchérissement pour l'année 2003. La CPEV a informé les intéressés de cette décision le 25 février 2003. B. Par acte du 27 février 2003, P._ et M._ ont ouvert action devant le Tribunal des assurances du canton de Vaud, en concluant principalement à l'adaptation de leur rente respective au renchérissement dès le mois de janvier 2003. Ils ont par la suite complété leurs conclusions en demandant à ce que ladite adaptation soit accordée à l'ensemble des retraités de l'Etat de Vaud. Par jugement du 15 septembre 2003, leur demande a été rejetée. Par jugement du 15 septembre 2003, leur demande a été rejetée. C. P._ et M._ interjettent recours de droit administratif contre ce jugement, dont ils requiert l'annulation. Ils concluent à ce que les rentes de l'ensemble des retraités de l'Etat de Vaud soient indexées de 1,2 % à compter du 1er janvier 2003. La CPEV conclut au rejet du recours sous suite de dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.