Faits:

A. Le 3 mai 2004, X._ a déposé plainte pénale à l'encontre de P._, Q._ et R._, pour calomnie ou diffamation. Il en ressort en substance que X._ a été engagé comme brigadier de la police municipale de Payerne en mars 2002; que son contrat de travail a été résilié en septembre 2002; que le 17 janvier 2003, le Tribunal administratif vaudois a annulé cette décision de licenciement en raison d'une violation du droit d'être entendu; qu'en septembre 2003, X._ a déposé plainte pénale pour le vol d'un cycle; que dans le cadre de l'enquête ouverte à la suite de cette plainte, P._, Q._ et R._, tous trois policiers à Payerne, ont été entendus respectivement les 10 décembre 2003 et 15 janvier 2004 par la police de sûreté; que P._ a déclaré qu'après "le dernier passage de X._ dans les locaux de la police municipale, le brigadier R._ a constaté que plusieurs vélos [...] entreposés dans la cellule désaffectée avaient disparu"; que R._ a affirmé qu'il était "fort probable que [X._] ait emmené certains cycles ne lui appartenant pas"; que selon Q._, il était "fort probable que [X._] ait emporté des cycles qui ne lui appartenaient pas et qui étaient déposés dans la cellule"; que X._ considère les déclarations précitées qui le mettent en cause comme constitutives de calomnie, voire de diffamation.
B. Par ordonnance du 19 mai 2004, le Juge d'instruction de l'arrondissement du Nord vaudois a refusé de suivre la plainte du 3 mai 2004.
Par arrêt du 15 juin 2004, le Tribunal d'accusation du Tribunal cantonal vaudois a rejeté le recours de X._ et a confirmé l'ordonnance du 19 mai 2004.
C. X._ se pourvoit en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation.
Le Tribunal fédéral considère en droit:
1. Le recourant estime tout d'abord avoir déposé sa plainte pénale à temps, soit dans le délai de trois mois prévu à l'art. 29 CP.
Il ressort de l'arrêt attaqué que le dénommé P._ a adressé un courrier au recourant le 28 octobre 2002, dans lequel il lui demandait de restituer les cycles qu'il s'était octroyés sans autorisation. Le Tribunal d'accusation a déduit de ce courrier, qui a aussi été adressé en copie à des tiers, que le recourant savait depuis octobre/début novembre 2002 que ses collègues supposaient qu'il avait dérobé des cycles. Le tribunal a ainsi considéré que le délai de trois mois pour déposer plainte à raison des faits contenus dans ledit courrier était échu au moment du dépôt de la plainte le 3 mai 2004 et que le refus de suivre se justifiait dans la mesure où la plainte concernait ce courrier du 28 octobre 2002.
Aux termes de l'art. 270 let. f PPF, le plaignant peut se pourvoir en nullité pour autant qu'il s'agisse du droit de porter plainte. Cette disposition ne permet pas au plaignant d'attaquer la décision sur le fond, mais lui offre uniquement la possibilité d'invoquer une irrégularité quant à son droit de porter plainte (<ref-ruling> consid. 4c p. 96, 37 consid. 3 p. 38). En l'espèce, le recourant est ainsi légitimé à se plaindre d'une violation de l'art. 29 CP relativement au respect du délai de trois mois pour déposer plainte. La plainte qu'a déposée le recourant le 3 mai 2004 est de toute évidence tardive par rapport au courrier qui lui a été adressé le 28 octobre 2002. L'arrêt attaqué n'a pas d'autre portée sur la question du respect du délai de plainte. Il n'en résulte nullement, contrairement à ce que pense le recourant, que le Tribunal d'accusation aurait aussi jugé tardive la plainte pour ce qui concerne les propos que le recourant reproche à ses collègues P._, Q._ et R._ lors de leur audition devant la police de sûreté les 10 décembre 2003 et 15 janvier 2004. Le Tribunal d'accusation a examiné les propos litigieux et a statué sur le fond à leur égard. Par conséquent, le grief du recourant quant au respect du délai de plainte doit être rejeté.
2. 2.1 Sur le fond, le Tribunal d'accusation a confirmé qu'il n'y avait pas lieu de donner suite à la plainte en considérant que les trois personnes entendues par la police de sûreté avaient répondu aux questions avec la prudence nécessaire et en termes modérés, que rien n'empêchait un témoin de répondre conformément à ce qu'il pensait être la vérité et que les propos tenus, exprimés dans le cadre d'une procédure judiciaire, étaient couverts par l'art. 32 CP.
2.2 Le recourant conteste le bien-fondé de l'arrêt attaqué, qui équivaut à un non-lieu au sens de l'art. 268 ch. 2 PPF.
2.2 Le recourant conteste le bien-fondé de l'arrêt attaqué, qui équivaut à un non-lieu au sens de l'art. 268 ch. 2 PPF.
2.3 2.3.1 La voie du pourvoi en nullité n'est ouverte au recourant sur le fond que s'il remplit les conditions posées par l'art. 270 let. e ch. 1 PPF. Cette disposition limite la qualité pour se pourvoir en nullité aux seules victimes au sens de l'art. 2 LAVI, c'est-à-dire aux personnes qui ont subi, en raison de l'infraction à juger, une atteinte directe à leur intégrité corporelle, sexuelle ou psychique. En l'espèce, les infractions invoquées (calomnie et diffamation), qui protègent en particulier la réputation, ne sont en principe pas de nature à fonder la qualité de victime LAVI (<ref-ruling> consid. 1 p. 207). Le recourant soutient toutefois qu'il serait une victime LAVI en raison des répercussions psychiques entraînées par les infractions en question.
2.3.2 En présence d'infractions contre la réputation, telle la calomnie ou la diffamation, l'admission de la qualité de victime n'entre en considération que si les circonstances étaient suffisamment graves pour entraîner une atteinte directe à l'intégrité psychique du lésé (<ref-ruling> consid. 2d/aa p. 163; Cédric Mizel, La qualité de victime LAVI et la mesure actuelle des droits qui en découlent, JdT 2003 IV 38, spéc. ch. 47, p. 62). Par ailleurs, la lésion subie doit être significative. A cet égard, il faut se placer d'un point de vue objectif et non en fonction de la sensibilité personnelle et subjective du lésé (arrêt 1A.459/2003 du 21 août 2003 consid. 1.3 cité par Mizel, op. cit., note 143 ad ch. 66, p. 68; <ref-ruling> consid. 2d/cc p. 164; cf. aussi arrêt 1A.70/2004 du 7 juillet 2004, consid. 2.2).
Lorsque, comme en l'espèce, le pourvoi est dirigé contre une ordonnance de refus de suivre et que les faits ne sont pas définitivement arrêtés, il faut se fonder sur les allégués de celui qui se prétend lésé et sur la vraisemblance des actes et de l'atteinte pour déterminer si la qualité de victime est réalisée (cf. <ref-ruling> consid. 1.2 p. 182).
2.3.3 Le recourant affirme que les atteintes à l'honneur qu'il dénonce lui ont sapé le moral et ont contribué à son désarroi psychologique, qui l'entrave au point de l'empêcher de travailler. Il n'en dit pas plus et ne fournit en particulier aucun détail permettant de cerner les liens existant entre les infractions reprochées et son état mental. Le recourant reconnaît par ailleurs qu'il est détruit sur le plan psychique et moral depuis son licenciement, qu'il est trop affecté par cette mise à l'écart et qu'il est en arrêt maladie depuis lors. Or, ces éléments sont antérieurs de plus d'une année aux propos tenus par les collègues du recourant, qui fondent la plainte pénale. Il apparaît donc que la cause prépondérante des troubles allégués par le recourant réside dans son licenciement et non dans les propos subséquents de ses collègues. Le recourant ne rend pas vraisemblable qu'il aurait objectivement été atteint de manière significative par les propos litigieux. Il ne saurait bénéficier à cet égard du statut de victime LAVI. Il n'est par conséquent pas légitimé à se pourvoir en nullité en vertu de l'art. 270 let. e ch. 1 PPF et à contester l'arrêt attaqué sur le fond. Ses critiques à ce sujet sont irrecevables.
2.4 Au demeurant, indépendamment de sa qualité pour agir, le recourant ne formule sur le fond aucune critique qui respecterait les exigences minimales de motivation déduites de l'art. 273 al. 1 let. b PPF (<ref-ruling> consid. 5.1 p. 19). En particulier, le recourant ne dit rien de l'application par le Tribunal d'accusation de l'art. 32 CP, soit une disposition susceptible selon la jurisprudence de couvrir les propos émis par un témoin qui rapporte ce qu'il croit être vrai (<ref-ruling> consid. 4a/bb p. 214).
Le recourant évoque également le déroulement de la procédure et une violation de son droit d'être entendu. Il se prévaut ainsi d'une violation directe d'un droit de rang constitutionnel, ce qu'il n'est pas habilité à faire dans un pourvoi (cf. art. 269 PPF).
3. Le recourant, qui succombe, supporte les frais de la procédure devant le Tribunal fédéral (art. 278 al. 1 PPF).
Il n'y a pas lieu d'allouer une indemnité aux intimés, qui n'ont pas eu à intervenir dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
1. Le pourvoi est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 francs est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, aux intimés, au Ministère public du canton de Vaud et au Tribunal d'accusation du Tribunal cantonal vaudois.
Lausanne, le 29 novembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier: