Faits:
Faits:
A. Par jugement du 2 octobre 2003, le Tribunal de police de l'arrondissement de La Côte a condamné X._, pour diffamation et injure, à cinq jours d'arrêts avec sursis durant un an et à 2'000 francs d'amende, avec délai de radiation d'un an. Le tribunal a en outre alloué aux plaignants K._, L._, M._ et N._ 1'000 francs chacun à titre de réparation du tort moral, et la somme de 6'000 francs comme dépens pénaux. Il ressort notamment ce qui suit de ce jugement:
A fin mars 2000, à Pompaples, dans un courrier adressé à N._, syndic de cette commune jusqu'en juillet 2000, X._ l'a accusé d'avoir notamment "menti", "produit dans la comptabilité du Trésillon une facture surfaite", "passé d'une manière irrégulière des écritures comptables afin de cacher au conseil certains des dépassements", qualifiant au demeurant le comportement du syndic d'escroquerie et menaçant de publier ce courrier. A la même période, X._ a adressé un e-mail à M._, ancien président du conseil général de la commune, dans lequel il parlait du coût de réfection du chemin du Trésillon à Pompaples, confiant "son envie de vomir" à la suite des différentes "magouilles" survenues dans le village où on "trouve une succession de mensonges et tricheries".
Le tribunal a considéré que ces faits étaient constitutifs d'injure au sens de l'art. 177 al. 1 CP.
A la fin mars 2000, au chemin du Trésillon à Pompaples, X._ a installé sur un pylône, à côté du panneau officiel indiquant le nom de la rue, un écriteau avec la mention "chemin de la fausse facture". Au début avril 2000, il a diffusé sur le téléréseau local, dont il était le distributeur, un message à l'attention des habitants de Pompaples, les invitant à visiter "le chemin de la fausse facture, somme payée 243'000 fr., somme comptabilisée 273'000 fr., où sont les 30'000 fr. ?". Toujours à la même période, X._ a distribué aux habitants de sa commune et environs un pamphlet intitulé "Trésillon news", mettant en scène divers personnages, tels que "le subventionné du goudron", "Bebesse le cireur de pompes", "l'aberrant", et "De la Fontaine du mensonge et de la tricherie", bafouant ainsi respectivement M._, ancien président du conseil général, L._, membre de la commission de gestion du conseil général de Pompaples, K._, conseiller municipal, et N._, syndic de Pompaples. X._ y fait état de "magouilles" et de falsifications de factures et d'écritures, accusant plus précisément K._ de ne jamais "manquer de se faire du fric et dont l'éthique professionnelle était partie en vacances pour très longtemps" et N._ d'être "plus efficace dans la tricherie que dans son rôle de syndic". Le 3 juillet 2000, X._ a transmis aux habitants de Pompaples un écrit intitulé "chronique d'un dépassement de crédit programmé" dans lequel il a, s'agissant de la transformation de la salle communale de "la Biolle" et des coûts engendrés par ces travaux, porté des accusations sur certains membres de la municipalité.
Selon le tribunal, X._ s'est ainsi rendu coupable de diffamation au sens de l'art. 173 ch. 1 CP. Le tribunal a considéré que X._ n'avait pas apporté la preuve de la vérité ni de sa bonne foi (art. 173 ch. 2 CP).
Selon le tribunal, X._ s'est ainsi rendu coupable de diffamation au sens de l'art. 173 ch. 1 CP. Le tribunal a considéré que X._ n'avait pas apporté la preuve de la vérité ni de sa bonne foi (art. 173 ch. 2 CP).
B. Par arrêt du 18 décembre 2003, dont les considérants écrits ont été envoyés aux parties le 26 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
B. Par arrêt du 18 décembre 2003, dont les considérants écrits ont été envoyés aux parties le 26 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._.
C. Celui-ci forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation.
X._ a également requis l'effet suspensif pour le motif qu'il serait sinon exposé aux poursuites des plaignants en raison des indemnités obtenues par ceux-ci dans la procédure. Au pied de l'ordonnance présidentielle adressée le 3 mai 2004 à l'avocat de X._ pour le versement de sûretés en garantie des frais (art. 150 OJ), le bénéfice de l'effet suspensif a été refusé.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Conformément à l'art. 275 al. 5 PPF, le recours de droit public est examiné en premier lieu.
I. Recours de droit public
I. Recours de droit public
2. 2.1 Le recours de droit public n'est, sous réserve de certaines exceptions, recevable qu'à l'encontre des décisions prises en dernière instance cantonale (art. 86 al. 1 OJ). L'exigence de l'épuisement des instances cantonales signifie que le recourant doit faire valoir ses griefs devant la dernière instance cantonale et ne peut pas en soulever de nouveaux dans le cadre du recours de droit public. Une exception est toutefois admise lorsque l'autorité cantonale disposait d'un pouvoir d'examen libre et devait appliquer le droit d'office, sauf lorsque le nouveau grief se confond avec l'arbitraire ou lorsque le fait d'avoir attendu à présenter un grief lié à la conduite de la procédure est contraire à la bonne foi (<ref-ruling> consid. 1a p. 90/91).
2.2 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
2.2 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
3. 3.1 Soulignant qu'il a été admis à apporter la preuve de la vérité prévue à l'art. 173 ch. 2 CP, le recourant se plaint d'une violation de son droit d'être entendu. Il affirme avoir indûment été privé de l'audition du témoin F._ et se plaint du refus de donner suite à ses réquisitions de production de pièces.
3.2 Tel qu'il est reconnu par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour l'intéressé d'offrir des preuves pertinentes, de prendre connaissance du dossier, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2a/aa p. 16). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Il est ainsi possible de renoncer à l'administration de certaines preuves offertes lorsque le fait à établir est sans importance pour la solution du cas, qu'il résulte déjà de constatations ressortant du dossier ou lorsque le moyen de preuve avancé est impropre à fournir les éclaircissements nécessaires. L'appréciation anticipée des preuves ne constitue pas une atteinte au droit d'être entendu (<ref-ruling> consid. 6c/cc p. 135; <ref-ruling> consid. 4a p. 211, 241 consid. 2 p. 242; <ref-ruling> consid. 1a p. 181). Au même titre que toute appréciation des preuves, l'appréciation anticipée de celles-ci est soumise à l'interdiction de l'arbitraire (<ref-ruling> consid. 5b p. 285).
L'appréciation des preuves est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'invalide l'appréciation retenue par le juge de la cause que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective ou adoptée sans motifs objectifs. Il ne suffit pas que les motifs du verdict soient insoutenables; il faut en outre que l'appréciation soit arbitraire dans son résultat (<ref-ruling> consid. 4 p. 58; <ref-ruling> consid. 2 p. 40, 126 I 168 consid. 3a p. 170).
3.3 Le recourant a sollicité l'audition de F._, directeur de l'entreprise B._ SA. Le Tribunal de police, qui avait dispensé ce témoin de comparaître à la demande de celui-ci, a rejeté la requête du recourant tendant au maintien de l'audition. Le Tribunal a exposé qu'il était suffisamment renseigné pour statuer (cf. jugement de première instance, p. 8). Le recourant indique dans son mémoire que le dépassement du coût des travaux relatifs à la salle communale est lié aux bons de régie émis par l'entreprise B._ SA. Il relève que dans son rapport du 5 juin 2001, l'expert V._ n'a pas exclu "une certaine générosité dans l'approbation des heures de régie". Il met en avant le fait que les experts de l'Institut de police scientifique et de criminologie de l'Université de Lausanne ont conclu dans leur rapport du 17 octobre 2002 que certains bons de régie n'avaient pas été confectionnés chronologiquement mais a posteriori. Selon le recourant, le témoin F._ aurait pu exposer les circonstances de l'établissement des bons de régie litigieux, ce qui aurait sans doute permis de savoir pourquoi ceux-ci n'ont pas été établis dans un ordre chronologique.
3.4 Dans l'arrêt attaqué (p. 7/8), la Cour de cassation cantonale relève que si les bons de régies n'ont pas été établis chronologiquement, cela ne signifie pas que des écritures ont été passées illicitement de manière à cacher aux autorités communales certains dépassements ni qu'il y a eu escroquerie dans le cas particulier. La vraie question est selon elle de savoir si les heures de régie ont effectivement été surévaluées par la société B._ SA ou par le bureau dirigé par K._ dans le but de cacher quelque chose. En se référant à l'expertise établie le 5 juin 2001 par V._ (dossier cantonal, pièce 68), la Cour de cassation cantonale souligne d'une part que le dépassement des travaux relatifs à la salle communale est dû à des causes définies, propres au type de travaux entrepris (rénovation) et à un manque de rigueur du bureau technique dans l'élaboration du projet et dans la gestion de la construction; d'autre part, que rien ne peut justifier les accusations du recourant.
L'arrêt attaqué forme un tout. Il importe donc peu que les considérations précitées de la Cour de cassation cantonale aient été traitées dans une partie de l'arrêt qui n'est pas précisément celle consacrée aux griefs de même nature que ceux exprimés par le recourant dans son recours de droit public. Il incombait à celui-ci de dire précisément en quoi l'appréciation émise par la Cour de cassation cantonale était insoutenable. Il n'y consacre pourtant aucun développement, du moins qui serait recevable sous l'angle de l'art. 90 al. 1 let. b OJ. L'expertise du 5 juin 2001 n'a en particulier pas constaté de surfacturation. A partir de là, l'appréciation anticipée des preuves apparaît exempte d'arbitraire. Le recourant se contente d'affirmer le contraire, sans établir en quoi elle le serait. Appellatoire, son argumentation n'est pas recevable (supra, consid. 2.2). La solution suivie ne consacre par conséquent aucune violation du droit d'être entendu du recourant.
3.5 Le recourant évoque aussi l'audition du témoin F._ en relation avec une facture de 50'000 francs demeurée impayée par la société G._ SA. La Cour de cassation cantonale a indiqué à ce sujet que la conversion en prêt par B._ SA d'une facture adressée à G._ SA n'avait pas de rapport direct avec les accusations formulées contre les plaignants et que la conversion avait été confirmée par une personne entendue en première instance (cf. arrêt attaqué, p. 10). Le recourant ne démontre pas en quoi cette explication serait insoutenable. Sa brève motivation sur cette question est insuffisante sous l'angle de l'art. 90 al. 1 let. b OJ. Elle est irrecevable.
3.6 Le recourant conteste le rejet de sa requête en production de pièces relatives aux travaux du chemin du Trésillon.
Il ne donne dans son mémoire aucune indication sur les pièces concernées ni ne précise en quoi elles seraient pertinentes. Son argumentation ne respecte pas les exigences minimales de motivation posées par l'art. 90 al. 1 let. b OJ. Elle est par conséquent irrecevable.
Il ne donne dans son mémoire aucune indication sur les pièces concernées ni ne précise en quoi elles seraient pertinentes. Son argumentation ne respecte pas les exigences minimales de motivation posées par l'art. 90 al. 1 let. b OJ. Elle est par conséquent irrecevable.
4. Le recourant se plaint d'arbitraire dans l'établissement des faits, affirmant que l'appréciation des preuves a été menée sur la base d'éléments sujets à caution.
4.1 En ce qui concerne la société B._ SA, le recourant note qu'il aurait fallu s'interroger sur les raisons de l'établissement de bons de régies a posteriori par cette société. Il ne développe aucun argument spécifique. Son grief est irrecevable (cf. aussi supra, consid. 3.4).
4.1 En ce qui concerne la société B._ SA, le recourant note qu'il aurait fallu s'interroger sur les raisons de l'établissement de bons de régies a posteriori par cette société. Il ne développe aucun argument spécifique. Son grief est irrecevable (cf. aussi supra, consid. 3.4).
4.2 4.2.1 Le recourant se demande si la comptabilité de la société R._ SA n'a pas été refaite afin d'occulter une ristourne. Il invoque une phrase du témoignage de P._, comptable chez R._ SA, à propos de la numérotation des pièces comptables.
4.2.2 S._ a effectué une expertise de la comptabilité de la société R._ SA pour les années 1996 et 1997. Dans son rapport du 19 juin 2003, l'expert exclut l'existence d'une ristourne dans le cadre de l'adjudication des travaux pour le chemin du Trésillon. Dans un courrier du 8 juillet 2003, il relève que la constatation du recourant à propos de la numérotation d'une pièce comptable peut paraître troublante, mais indique n'être pas en mesure d'établir que R._ SA a opéré une nouvelle comptabilité pour l'exercice 1996. Le 8 août 2003, la brigade financière de la police cantonale vaudoise a établi un rapport à la suite du séquestre de pièces comptables chez R._ SA et la société T._ SA, laquelle détient la première. Les inspecteurs excluent tout doute quant à l'authenticité de l'encaissement en 1996 de 273'000 francs par R._ SA, en se fondant en particulier sur les originaux des avis de crédit de la banque. Ils donnent aussi une justification à la problématique de la numérotation des pièces comptables et précisent n'avoir trouvé aucune trace comptable d'une quelconque ristourne (cf. jugement de première instance, p. 13 ss).
Il ressort en outre de la motivation de la Cour de cassation cantonale que même si le témoin P._ a donné une version différente de celle des inspecteurs de police quant à la numérotation des pièces comptables, celui-ci, l'expert S._ et les inspecteurs ont tous indiqué qu'il n'existait pas d'éléments susceptibles de conclure à une comptabilité faussée (cf. arrêt attaqué, p. 12).
4.2.3 La conclusion d'une absence de comptabilité falsifiée à laquelle est parvenue l'autorité cantonale à partir des moyens de preuve évoqués ci-dessus ne saurait être qualifiée d'insoutenable. La phrase que le recourant extrait du témoignage de P._ à propos de la numérotation des pièces comptables n'ôte pas tout crédit aux autres éléments de preuve. Lors de sa déclaration aux débats, ce témoin a d'ailleurs confirmé la régularité des comptes qui font état de la somme de 273'000 francs (cf. jugement de première instance, p. 16). Au surplus, le recourant se contente d'opposer de manière appelatoire sa version des faits à celle retenue. Le grief doit être rejeté dans la mesure où il est recevable.
II. Pourvoi en nullité
II. Pourvoi en nullité
5. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant est irrecevable à s'écarter (<ref-ruling> consid. 1 p. 66/67).
5. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Le raisonnement juridique doit donc être mené sur la base des faits retenus dans la décision attaquée, dont le recourant est irrecevable à s'écarter (<ref-ruling> consid. 1 p. 66/67).
6. 6.1 Le recourant conteste sa condamnation pour diffamation (art. 173 CP) et injure (art. 177 CP), du moins pour les propos qu'il a tenus à l'égard de K._, L._ et M._. Pour lui, les propos en question ne sont pas constitutifs d'atteinte à l'honneur.
6.2 L'honneur protégé par le droit pénal est le droit de chacun de ne pas être considéré comme une personne méprisable (<ref-ruling> consid. 2c p. 28/29). Selon la jurisprudence, les art. 173 ss CP ne protègent que l'honneur personnel, la réputation et le sentiment d'être un homme honorable, de se comporter, en d'autres termes, comme un homme digne a coutume de le faire selon les idées généralement reçues; échappent à ces dispositions les déclarations qui sont propres seulement à ternir de quelque autre manière la réputation dont jouit quelqu'un dans son entourage ou à ébranler sa confiance en lui-même: ainsi en va-t-il des critiques qui visent comme tel l'homme de métier, l'artiste ou le politicien (<ref-ruling> consid. 1a p. 55; <ref-ruling> consid. 2a p. 47). L'honneur protégé par le droit pénal doit être conçu de façon générale comme un droit au respect, qui est lésé par toute assertion propre à exposer la personne visée au mépris en sa qualité d'homme (<ref-ruling> consid. 2c p. 29). Pour déterminer si une déclaration est attentatoire à l'honneur, il faut procéder à une interprétation objective selon le sens qu'un auditeur ou un lecteur non prévenu devait, dans les circonstances données, lui attribuer (<ref-ruling> consid. 1a p. 58; ATF <ref-ruling> consid. 2a p. 47).
6.3 Les déclarations du recourant ont trait aux travaux relatifs à la rénovation et à la transformation d'une salle villageoise et à l'aménagement d'un chemin. Le recourant a mis en cause quatre responsables communaux par rapport aux travaux en question. Par ses différentes assertions, il a laissé entendre que ceux-ci étaient impliqués d'une manière ou d'une autre dans des "magouilles". Il faut comprendre par là qu'il leur reprochait des manoeuvres malhonnêtes. Le recourant a également utilisé d'autres termes, comme "passé d'une manière irrégulière des écritures comptables", "succession de mensonges et tricheries", "fausse facture". L'ensemble de ces éléments suggère au lecteur non averti que les responsables communaux, quel que soit leur degré exact d'implication, ont eu un comportement malhonnête dans la gestion des intérêts communaux. L'autorité cantonale n'a pas violé le droit fédéral en retenant que les propos du recourant étaient attentatoires à l'honneur. Le grief doit être rejeté.
6.3 Les déclarations du recourant ont trait aux travaux relatifs à la rénovation et à la transformation d'une salle villageoise et à l'aménagement d'un chemin. Le recourant a mis en cause quatre responsables communaux par rapport aux travaux en question. Par ses différentes assertions, il a laissé entendre que ceux-ci étaient impliqués d'une manière ou d'une autre dans des "magouilles". Il faut comprendre par là qu'il leur reprochait des manoeuvres malhonnêtes. Le recourant a également utilisé d'autres termes, comme "passé d'une manière irrégulière des écritures comptables", "succession de mensonges et tricheries", "fausse facture". L'ensemble de ces éléments suggère au lecteur non averti que les responsables communaux, quel que soit leur degré exact d'implication, ont eu un comportement malhonnête dans la gestion des intérêts communaux. L'autorité cantonale n'a pas violé le droit fédéral en retenant que les propos du recourant étaient attentatoires à l'honneur. Le grief doit être rejeté.
7. 7.1 Procédant à une appréciation des preuves, l'autorité cantonale n'a pas tenu pour vraies les allégations du recourant. Elle lui a par conséquent refusé le bénéfice de la preuve libératoire de la vérité. A juste titre, le recourant ne remet pas en cause ce point dans son pourvoi car la question de la véracité des propos tenus relève de l'établissement des faits. En revanche, le recourant soutient avoir apporté l'autre preuve libératoire, soit celle de sa bonne foi.
7.2 Selon l'art. 173 ch. 2 CP, la preuve de la bonne foi suppose que l'accusé établisse qu'il avait des raisons sérieuses de tenir de bonne foi ses allégations pour vraies. Cette preuve est apportée lorsque l'auteur établit qu'il avait des raisons sérieuses de tenir de bonne foi ses allégations pour vraies. L'auteur est de bonne foi s'il a cru à la véracité de ce qu'il disait. La bonne foi ne suffit cependant pas; encore faut-il que l'auteur ait eu des raisons sérieuses de croire ce qu'il disait. Il doit donc démontrer avoir accompli les actes qu'on pouvait attendre de lui, selon les circonstances et sa situation personnelle, pour contrôler la véracité de ses allégations et la considérer comme établie. Autrement dit, l'auteur doit prouver qu'il a cru à la véracité de ses allégations après avoir fait consciencieusement tout ce que l'on pouvait attendre de lui pour s'assurer de leur exactitude. Une prudence particulière doit être exigée de celui qui donne une large diffusion à ses allégations par la voie d'un média. L'auteur ne saurait se fier aveuglément aux déclarations d'un tiers. Pour déterminer si l'auteur avait des raisons sérieuses de tenir de bonne foi ses allégations pour vraies, il faut se fonder exclusivement sur les éléments dont il avait connaissance au moment où il a tenu les propos litigieux. Il n'est pas question de prendre en compte des moyens de preuve découverts ou des faits survenus postérieurement. Il incombe à l'auteur d'établir les éléments dont il disposait à l'époque, ce qui relève du fait. Sur cette base, le juge doit déterminer si ces éléments étaient suffisants pour croire à la véracité des propos, ce qui relève du droit (<ref-ruling> consid. 3b p. 151/152).
7.3 Selon l'arrêt attaqué, le recourant ne disposait à l'époque où il a formulé ses allégations que de simples soupçons, qui n'étaient que des extrapolations de sa part de constats d'ordre financier et comptable, et n'avait aucune raison sérieuse de tenir ses accusations pour vraies. Dans son pourvoi, le recourant se prévaut pour l'essentiel d'éléments postérieurs à ses allégations litigieuses. De tels éléments sont sans pertinence pour apprécier s'il avait des raisons sérieuses de tenir de bonne foi ses allégations pour vraies. Le recourant s'écarte par ailleurs des faits constatés en instance cantonale ou en introduit de nouveaux, ce qui n'est pas admissible dans un pourvoi. Il faut s'en tenir aux constatations cantonales, selon lesquelles il ne disposait que de simples soupçons révélés dans le cadre de ses fonctions au sein de la commission des finances. Cette situation imposait au recourant d'agir avec circonspection. Il n'avait aucune raison sérieuse de croire ses accusations pour vraies. Il a pourtant propagé à large échelle dans la commune de graves accusations de malhonnêteté. Dans ces conditions, en retenant que la preuve de la bonne foi n'avait pas été rapportée, l'autorité cantonale n'a pas violé le droit fédéral. Au demeurant, le Tribunal de police a aussi évoqué la décision de non-lieu rendue le 3 février 1999 à la suite d'une dénonciation du recourant pour gestion déloyale à propos des travaux du chemin de Trésillon. Selon cette décision, aucune irrégularité financière ne peut être imputée aux membres de la Municipalité de Pompaples (cf. jugement de première instance, p. 18). Cet élément devait inciter le recourant à une prudence accrue. Il apparaît plutôt qu'il a voulu s'en tenir à sa version des faits en faisant abstraction de toute autre considération. Le grief doit être rejeté dans la mesure où il est recevable.
7.3 Selon l'arrêt attaqué, le recourant ne disposait à l'époque où il a formulé ses allégations que de simples soupçons, qui n'étaient que des extrapolations de sa part de constats d'ordre financier et comptable, et n'avait aucune raison sérieuse de tenir ses accusations pour vraies. Dans son pourvoi, le recourant se prévaut pour l'essentiel d'éléments postérieurs à ses allégations litigieuses. De tels éléments sont sans pertinence pour apprécier s'il avait des raisons sérieuses de tenir de bonne foi ses allégations pour vraies. Le recourant s'écarte par ailleurs des faits constatés en instance cantonale ou en introduit de nouveaux, ce qui n'est pas admissible dans un pourvoi. Il faut s'en tenir aux constatations cantonales, selon lesquelles il ne disposait que de simples soupçons révélés dans le cadre de ses fonctions au sein de la commission des finances. Cette situation imposait au recourant d'agir avec circonspection. Il n'avait aucune raison sérieuse de croire ses accusations pour vraies. Il a pourtant propagé à large échelle dans la commune de graves accusations de malhonnêteté. Dans ces conditions, en retenant que la preuve de la bonne foi n'avait pas été rapportée, l'autorité cantonale n'a pas violé le droit fédéral. Au demeurant, le Tribunal de police a aussi évoqué la décision de non-lieu rendue le 3 février 1999 à la suite d'une dénonciation du recourant pour gestion déloyale à propos des travaux du chemin de Trésillon. Selon cette décision, aucune irrégularité financière ne peut être imputée aux membres de la Municipalité de Pompaples (cf. jugement de première instance, p. 18). Cet élément devait inciter le recourant à une prudence accrue. Il apparaît plutôt qu'il a voulu s'en tenir à sa version des faits en faisant abstraction de toute autre considération. Le grief doit être rejeté dans la mesure où il est recevable.
8. Le recourant paraît également mettre en cause les indemnités pour tort moral allouées aux intimés (1'000 francs chacun), du moins celles en faveur de K._, L._ et M._.
Compte tenu d'une valeur litigieuse inférieure à 8'000 francs, seul un pourvoi accessoire était ouvert sur le plan civil (art. 271 al. 2 PPF). Dès lors que le pourvoi sur le plan pénal est infondé dans la mesure où il est recevable, il n'y a pas lieu d'entrer en matière sur le plan civil (<ref-ruling> consid. 8b et c p. 208/209).
III. Frais et indemnité
III. Frais et indemnité
9. Fixés de manière à prendre en compte les deux recours interjetés, les frais doivent être mis à la charge du recourant, qui succombe (art. 156 al. 1 OJ; art. 278 al. 1 PPF).
Il n'y a pas lieu d'allouer d'indemnités aux intimés, qui n'ont pas eu à intervenir dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux mandataires des parties, au Ministère public du canton de Vaud et au Tribunal cantonal vaudois, Cour de cassation pénale.
Lausanne, le 21 mai 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier: