Faits:
Faits:
A. Par jugement du 28 juin 1977, le Tribunal civil du district de Moudon a notamment prononcé le divorce de X._, né le 23 février 1947, et de Y._, née le 13 mars 1950, et astreint le mari à verser à sa femme une rente mensuelle indexée de 400 fr., en application de l'art. 151 al. 1 aCC.
Le 23 avril 1993, le Président du Tribunal civil du district de Moudon a rejeté une action en modification du jugement de divorce intentée par X._.
Le 23 avril 1993, le Président du Tribunal civil du district de Moudon a rejeté une action en modification du jugement de divorce intentée par X._.
B. Le 30 juillet 2002, X._ a ouvert une nouvelle action en modification du jugement de divorce, concluant principalement à la suppression de la rente mensuelle de 400 fr. avec effet au 1er juillet 2002, et subsidiairement à la suppression de l'indexation de ladite rente et à sa réduction à dire de justice.
B.a A l'époque du divorce, en 1977, le demandeur travaillait comme manoeuvre pour un salaire mensuel brut de 1'860 fr.; en 1975 et 1976, il réalisait un salaire mensuel brut de 2'212 fr. en qualité de vendeur. Pendant les années qui ont suivi le divorce, le demandeur s'est trouvé dans une situation financière difficile et a accumulé un retard important dans le versement des pensions alimentaires dues à sa famille. La pension indexée qu'il doit à son ex-épouse s'élève actuellement à 747 fr. 65, mais il ne paie qu'un montant mensuel de 347 fr. 65 au Bureau de recouvrement des pensions alimentaires (ci-après: BRAPA). Il s'est remarié en 1995 avec Z._ qui travaille à 100% pour un salaire mensuel net de 3'005 fr. 20. Au mois de décembre 2001, il touchait un salaire mensuel net de 4'357 fr. 55. Dès le 1er mars 2002, il a été mis à la retraite anticipée et touchera, jusqu'à l'âge de 60 ans, un revenu mensuel net de 3'069 fr. 75, correspondant à un salaire mensuel brut de 3'900 fr. 20. De 60 à 65 ans, il percevra 3'697 fr. 30 par mois. Dès 65 ans, il touchera sa retraite LPP ainsi que LAVS. Les charges du couple s'élèvent à 4'616 fr. 25, comprenant 1'035 fr. de loyer, 1'087 fr. 65 d'impôts, 690 fr. 60 de primes d'assurance maladie, 253 fr. de frais de transport et 1'550 fr. de minimum vital.
A l'époque du divorce, la défenderesse, sans formation professionnelle, n'exerçait aucune activité lucrative et se consacrait à l'éducation des enfants, alors âgés de 4 ans et demi et d'un peu moins de 3 ans. Actuellement, elle tient une brocante qui lui rapporte un peu plus de 800 fr. par mois. Son loyer lui coûte 800 fr.; elle paie 50 fr. par mois pour son assurance-maladie et son minimum vital s'élève à 1'100 fr. Elle vit très simplement, se chauffe au bois et récupère des habits de seconde main. Elle a un ami qui lui paie de temps à autre un repas ou une sortie et lui donne un coup de main pour charger sa camionnette. Ils ont vécu ensemble pendant deux ans, mais ne font plus ménage commun.
B.b Par jugement du 3 avril 2003, le Président du Tribunal civil de l'arrondissement de La Côte a rejeté l'action en modification du jugement de divorce du demandeur.
Statuant le 24 février 2004 sur recours de X._, qui a conclu principalement à ce que la rente mensuelle de 400 fr. due à son ex-épouse soit réduite à 200 fr. dès le 1er juillet 2002 et que son indexation soit supprimée, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement précité.
Statuant le 24 février 2004 sur recours de X._, qui a conclu principalement à ce que la rente mensuelle de 400 fr. due à son ex-épouse soit réduite à 200 fr. dès le 1er juillet 2002 et que son indexation soit supprimée, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement précité.
C. X._ interjette un recours en réforme au Tribunal fédéral. Invoquant une violation des art. 151 et 153 aCC, il conclut à la réforme de l'arrêt cantonal en ce sens que la rente mensuelle qu'il doit verser à Y._ soit réduite à un montant mensuel de 200 fr. à partir du 1er juillet 2002 et que l'indexation de la rente soit supprimée dès le 1er juillet 2002.
La défenderesse n'a pas été invitée à se déterminer.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Interjeté en temps utile contre une décision finale rendue par le tribunal suprême du canton dans une contestation civile de nature pécuniaire, le recours est recevable au regard des art. 48 al. 1 et 54 al. 1 OJ. Comme les droits contestés dans la dernière instance cantonale dépassent 8'000 fr., il l'est aussi selon l'art. 46 OJ.
1.2 Saisi d'un recours en réforme, le Tribunal fédéral fonde son arrêt sur les faits tels qu'ils ont été constatés dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il n'y ait lieu de rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il ne faille renvoyer la cause à l'autorité cantonale pour compléter les constatations de fait parce que celle-ci n'a pas tenu compte de faits pertinents et régulièrement allégués (art. 64 al. 1 OJ; <ref-ruling> consid. 2.2 p. 106). Il ne peut être présenté de grief contre les constatations de fait, ni de faits ou moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). L'appréciation des preuves à laquelle s'est livrée l'autorité cantonale ne peut être remise en cause (<ref-ruling> consid. 2a p. 191; <ref-ruling> consid. 3a p. 79 s.).
Les faits qui ne ressortent pas de l'arrêt entrepris et que le demandeur invoque sans pouvoir se prévaloir de l'une ou l'autre des exceptions susmentionnées sont donc irrecevables. Ainsi en va-t-il du montant de sa dette auprès du BRAPA, de même que ses allégations selon lesquelles sa capacité contributive au moment du jugement de divorce était de 2'000 fr. et non pas de 1'860 fr.
Les faits qui ne ressortent pas de l'arrêt entrepris et que le demandeur invoque sans pouvoir se prévaloir de l'une ou l'autre des exceptions susmentionnées sont donc irrecevables. Ainsi en va-t-il du montant de sa dette auprès du BRAPA, de même que ses allégations selon lesquelles sa capacité contributive au moment du jugement de divorce était de 2'000 fr. et non pas de 1'860 fr.
2. Invoquant une violation des art. 151 et 153 aCC, le demandeur allègue que ses facultés financières ont diminué depuis le prononcé du divorce, alors que celles de la défenderesse se sont améliorées.
2.1 Le jugement de divorce en cause ayant été rendu sous l'ancien droit, sa modification quant à la pension alimentaire allouée au conjoint est régie par ce droit (cf. <ref-law>), soit par les art. 151 ss aCC.
Aux termes de l'art. 153 al. 2 aCC, applicable par analogie à l'indemnité allouée en vertu de l'art. 151 al. 1 aCC (<ref-ruling> consid. 2b p. 214, 359 consid. 3 p. 362), la rente due à l'épouse divorcée sera supprimée ou réduite, à la demande du débiteur, si l'ayant droit n'est plus dans le dénuement ou si la gêne dans laquelle il se trouvait a sensiblement diminué; il en sera de même si la pension n'est plus en rapport avec les facultés du débiteur. La réduction ou la suppression de la rente présuppose toutefois une modification importante, à vues humaines durable et non prévisible au moment du divorce (<ref-ruling> consid. 5d; <ref-ruling> consid. 3a p. 232; <ref-ruling> consid. 5a p. 217, 359 consid. 3 in fine p. 363). Selon la jurisprudence, si la détérioration de la situation du débiteur de la pension est due à sa mauvaise volonté ou à une négligence grossière, ou si elle est imputable à une décision arbitraire, elle ne saurait en règle générale justifier une réduction de la pension, en tout cas pas lorsque le débiteur a la possibilité de se recréer une situation plus favorable (<ref-ruling> consid. 7 p. 32).
La procédure en modification du jugement de divorce n'est pas destinée à corriger ce dernier, mais à tenir compte de nouveaux faits (<ref-ruling> consid. 4b). Pour déterminer si de tels faits se sont produits et justifient une modification du jugement de divorce, c'est la situation envisagée dans ce jugement qui est décisive (<ref-ruling> consid. 4b). Enfin, les fardeaux de l'allégation et de la preuve relatifs aux motifs de suppression ou de réduction de la rente incombent à la partie qui entend déduire un droit de l'art. 153 al. 2 aCC (Spühler, Berner Kommentar, Ergänzungsband, 1991, n° 54 ad art. 153 aCC). Il appartient ainsi au demandeur de prouver que les circonstances ayant présidé au divorce se sont modifiées depuis lors d'une manière importante, durable et imprévisible (<ref-ruling> consid. 5d; <ref-ruling> consid. 2; <ref-ruling> consid. 5a, 359 consid. 3 p. 362/363).
2.2 Selon l'arrêt attaqué, l'amélioration de la situation financière de la défenderesse n'était nullement imprévisible, puisqu'au moment du divorce, celle-ci, sans formation professionnelle, n'exerçait pas d'activité lucrative et élevait les enfants du couple, alors âgés de 4 ans et demi et d'un peu moins de 3 ans. La cour cantonale a jugé qu'il était prévisible, qu'en l'absence de toute fortune personnelle, la défenderesse se mettrait à travailler lorsque l'âge des enfants le permettrait, un revenu lui étant indispensable pour vivre, et a estimé qu'il était dès lors superflu d'examiner la situation financière actuelle de la défenderesse, au regard de son nouveau statut d'indépendante.
Le Tribunal cantonal a jugé que la situation financière du demandeur ne s'était pas péjorée depuis le divorce. Il a relevé qu'en 1977, il réalisait un salaire mensuel brut de 1'860 fr., qu'à l'ouverture de la présente procédure il percevait un salaire mensuel brut de 3'900 fr. 20, soit 3'069 fr. 75 net, et qu'il bénéficiait ainsi d'une amélioration de son revenu supérieure à celle découlant d'une simple indexation à l'indice des prix, soit d'un salaire brut de 426 fr. 20 supérieur au revenu qu'il devrait percevoir si son traitement n'avait jamais été augmenté, mais seulement indexé. Il a retenu que les revenus nets du demandeur et de son épouse étaient de 6'074 fr. 95, leurs charges de 4'616 fr. 25, que le demandeur devait assumer à titre personnel les 50.53 % de ces charges, soit un montant mensuel de 2'332 fr. 60, et qu'il lui restait par conséquent un disponible de 737 fr. 15, soit une somme de 10 fr. 50 seulement inférieure au montant de la rente due à la défenderesse. La cour cantonale a encore relevé que la pension de base de 400 fr. représentait une contribution correspondant aux 21.50% du salaire mensuel brut du débirentier à l'époque du divorce, alors que la pension indexée au 1er janvier 2002 par 747 fr. 65 représentait une contribution équivalant aux 19.16 % du revenu brut du demandeur depuis sa mise à la retraite partielle à compter du 1er mars 2002.
2.3 Le demandeur reproche tout d'abord à la cour cantonale de ne pas avoir tenu compte de sa dette auprès du BRAPA, qui découle des difficultés ayant suivi le divorce, et donc de la détérioration de sa situation financière.
Il ressort des constatations cantonales que, pendant les années qui ont suivi le divorce, le demandeur s'est trouvé dans une situation financière difficile et a accumulé un retard important dans le versement des pensions alimentaires dues à sa famille. Le demandeur ne paie actuellement qu'un montant mensuel de 347 fr. 65 au BRAPA, alors que la pension due à son ex-épouse et indexée en 2002 s'élève à 747 fr. 65.
Il ne résulte toutefois pas de l'arrêt attaqué que le demandeur rembourserait effectivement sa dette auprès du BRAPA. Au contraire, selon les allégations contenues dans le mémoire de recours, le BRAPA a provisoirement suspendu le remboursement des sommes dues. De surcroît, contrairement à ce que soutient le demandeur, il ne ressort pas de l'arrêt attaqué que la cour cantonale aurait admis que ce retard aurait été accumulé sans sa faute, parce qu'il aurait, en quelque sorte, eu le droit d'obtenir une réduction des pensions alimentaires fixées. Il n'y a dès lors pas lieu de tenir compte de cette dette née du non-paiement des pensions comme d'une charge non voulue ou imprévisible justifiant une réduction de la pension de l'ex-épouse selon l'art. 153 aCC.
2.4 Le demandeur fait ensuite grief à la cour cantonale de ne pas avoir admis que l'amélioration de la situation financière de son ex-épouse était imprévisible, puisque le jugement de divorce ne se prononçait pas sur sa capacité de travail et qu'à cette époque, soit en 1977, il était tout à fait envisageable qu'une épouse ne travaille pas ou qu'à temps partiel, même lorsqu'elle n'avait plus la charge des enfants.
Ce grief est vain. En effet, le fait que la défenderesse se mette à travailler, lorsqu'elle n'aurait plus d'enfants à charge, était tout à fait prévisible au moment du divorce, puisqu'elle n'aurait alors que 40 ans, qu'elle n'a pas de fortune personnelle et qu'une pension de 400 fr. indexée ne suffit pas pour vivre. De plus, le demandeur n'indique aucun motif propre à infirmer le fait que la reprise d'une activité a été prise en considération par le jugement de divorce. Au demeurant, la situation financière de la défenderesse ne s'est pas améliorée au point de justifier la suppression de la rente litigieuse, ses revenus ne couvrant pas toutes ses charges. En effet, selon les constatations cantonales, la crédirentière perçoit un salaire mensuel d'un peu plus de 800 fr.; son loyer lui coûte 800 fr., son assurance-maladie 50 fr. et son minimum vital s'élève à 1'100 fr.; elle vit très simplement, se chauffe au bois, récupère des habits de seconde main et se nourrit simplement. Le demandeur ne prétend, ni ne démontre que la défenderesse réaliserait un revenu supérieur.
Enfin, concernant l'aide qu'elle reçoit de son ami, il ressort de l'arrêt attaqué que ce dernier lui offre de temps à autre un repas ou une sortie et lui donne un coup de main pour charger sa camionnette. Au surplus, si elle a vécu avec lui pendant deux ans, ils ne font actuellement plus ménage commun. Le demandeur ne prétend pas que le couple continuerait à vivre en concubinage, ni que cette union serait si stable et étroite qu'elle procurerait à son ex-épouse des avantages économiques analogues à ceux d'un mariage, tel que cela est exigé par la jurisprudence (<ref-ruling> consid. non publié 2.4; <ref-ruling> consid. 2a/aa p. 54 et les références citées).
2.5 Puisqu'aucun fait nouveau n'est intervenu dans les revenus des parties depuis le jugement de divorce, il n'y a pas lieu, contrairement à ce qu'a fait la cour cantonale, de comparer leurs revenus et charges actuels respectifs, de prendre en particulier en considération les charges actuelles du demandeur - dont le caractère nouveau n'est pas démontré - et de recalculer le solde disponible et la pension de l'ex-épouse. La procédure de modification de l'art. 153 aCC n'a pas pour but de corriger le jugement de divorce, ni de modifier la répartition des moyens à disposition prévue par le jugement de divorce (cf. supra, consid. 2.1).
2.5 Puisqu'aucun fait nouveau n'est intervenu dans les revenus des parties depuis le jugement de divorce, il n'y a pas lieu, contrairement à ce qu'a fait la cour cantonale, de comparer leurs revenus et charges actuels respectifs, de prendre en particulier en considération les charges actuelles du demandeur - dont le caractère nouveau n'est pas démontré - et de recalculer le solde disponible et la pension de l'ex-épouse. La procédure de modification de l'art. 153 aCC n'a pas pour but de corriger le jugement de divorce, ni de modifier la répartition des moyens à disposition prévue par le jugement de divorce (cf. supra, consid. 2.1).
3. En conclusion, le recours est rejeté dans la mesure où il est recevable. Le demandeur, qui succombe, doit être condamné aux frais de la procédure (art. 156 al. 1 OJ). Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à répondre (art. 159 al. 1 et 2 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du demandeur.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du demandeur.
3. Le présent arrêt est communiqué en copie aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 septembre 2004
Au nom de la IIe Cour civile
du Tribunal fédéral suisse
Le président: La greffière: