Faits: Faits: A. Par jugement du 2 octobre 2003, le Tribunal de police de l'arrondissement de La Côte a condamné X._, pour diffamation et injure, à cinq jours d'arrêts avec sursis durant un an et à 2'000 francs d'amende, avec délai de radiation d'un an. Le tribunal a en outre alloué aux plaignants K._, L._, M._ et N._ 1'000 francs chacun à titre de réparation du tort moral, et la somme de 6'000 francs comme dépens pénaux. Il ressort notamment ce qui suit de ce jugement: A fin mars 2000, à Pompaples, dans un courrier adressé à N._, syndic de cette commune jusqu'en juillet 2000, X._ l'a accusé d'avoir notamment "menti", "produit dans la comptabilité du Trésillon une facture surfaite", "passé d'une manière irrégulière des écritures comptables afin de cacher au conseil certains des dépassements", qualifiant au demeurant le comportement du syndic d'escroquerie et menaçant de publier ce courrier. A la même période, X._ a adressé un e-mail à M._, ancien président du conseil général de la commune, dans lequel il parlait du coût de réfection du chemin du Trésillon à Pompaples, confiant "son envie de vomir" à la suite des différentes "magouilles" survenues dans le village où on "trouve une succession de mensonges et tricheries". Le tribunal a considéré que ces faits étaient constitutifs d'injure au sens de l'art. 177 al. 1 CP. A la fin mars 2000, au chemin du Trésillon à Pompaples, X._ a installé sur un pylône, à côté du panneau officiel indiquant le nom de la rue, un écriteau avec la mention "chemin de la fausse facture". Au début avril 2000, il a diffusé sur le téléréseau local, dont il était le distributeur, un message à l'attention des habitants de Pompaples, les invitant à visiter "le chemin de la fausse facture, somme payée 243'000 fr., somme comptabilisée 273'000 fr., où sont les 30'000 fr. ?". Toujours à la même période, X._ a distribué aux habitants de sa commune et environs un pamphlet intitulé "Trésillon news", mettant en scène divers personnages, tels que "le subventionné du goudron", "Bebesse le cireur de pompes", "l'aberrant", et "De la Fontaine du mensonge et de la tricherie", bafouant ainsi respectivement M._, ancien président du conseil général, L._, membre de la commission de gestion du conseil général de Pompaples, K._, conseiller municipal, et N._, syndic de Pompaples. X._ y fait état de "magouilles" et de falsifications de factures et d'écritures, accusant plus précisément K._ de ne jamais "manquer de se faire du fric et dont l'éthique professionnelle était partie en vacances pour très longtemps" et N._ d'être "plus efficace dans la tricherie que dans son rôle de syndic". Le 3 juillet 2000, X._ a transmis aux habitants de Pompaples un écrit intitulé "chronique d'un dépassement de crédit programmé" dans lequel il a, s'agissant de la transformation de la salle communale de "la Biolle" et des coûts engendrés par ces travaux, porté des accusations sur certains membres de la municipalité. Selon le tribunal, X._ s'est ainsi rendu coupable de diffamation au sens de l'art. 173 ch. 1 CP. Le tribunal a considéré que X._ n'avait pas apporté la preuve de la vérité ni de sa bonne foi (art. 173 ch. 2 CP). Selon le tribunal, X._ s'est ainsi rendu coupable de diffamation au sens de l'art. 173 ch. 1 CP. Le tribunal a considéré que X._ n'avait pas apporté la preuve de la vérité ni de sa bonne foi (art. 173 ch. 2 CP). B. Par arrêt du 18 décembre 2003, dont les considérants écrits ont été envoyés aux parties le 26 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. B. Par arrêt du 18 décembre 2003, dont les considérants écrits ont été envoyés aux parties le 26 mars 2004, la Cour de cassation pénale du Tribunal cantonal vaudois a rejeté le recours de X._. C. Celui-ci forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation. X._ a également requis l'effet suspensif pour le motif qu'il serait sinon exposé aux poursuites des plaignants en raison des indemnités obtenues par ceux-ci dans la procédure. Au pied de l'ordonnance présidentielle adressée le 3 mai 2004 à l'avocat de X._ pour le versement de sûretés en garantie des frais (art. 150 OJ), le bénéfice de l'effet suspensif a été refusé.