Faits:
Faits:
A. X._ et B._ se sont rencontrés en 1999. Après avoir entretenu une relation amoureuse durant un an environ, ils ont eu une ultime rencontre au mois de février 2001. X._ a alors hébergé B._. Le lundi 12 février 2001, au domicile de X._, B._ a répondu à un appel téléphonique matinal de N._, laquelle entretenait, outre des contacts professionnels et amicaux, des rapports intimes avec ce dernier. Le ton est très vite monté. A la suite de ce téléphone, une violente dispute a éclaté entre X._ et B._. Le lendemain, celle-ci a rejoint comme prévu une communauté évangélique. Le 14 février 2001, X._ a envoyé une télécopie à B._ avec la mention "confidentiel".
Le 18 février 2001, B._ a déposé plainte pénale contre X._ pour diffamation en raison du contenu de ladite télécopie. Les passages incriminés étaient les suivants: "Vous avez attenté à la vie privée, calomnié et diffamé des personnes étrangères qui ne vous ont rien fait..." et "vous avez dérobé des affaires privées".
Le 18 février 2001, B._ a déposé plainte pénale contre X._ pour diffamation en raison du contenu de ladite télécopie. Les passages incriminés étaient les suivants: "Vous avez attenté à la vie privée, calomnié et diffamé des personnes étrangères qui ne vous ont rien fait..." et "vous avez dérobé des affaires privées".
B. Par jugement du 18 octobre 2001, le président suppléant du Tribunal de police du district de Boudry a condamné X._, pour injure (<ref-law>), à 300 francs d'amende, avec délai de radiation de deux ans.
Par arrêt du 4 juin 2002, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a cassé le jugement précité, reprochant au premier juge de n'avoir pas autorisé X._ à apporter la preuve libératoire de la vérité ou de la bonne foi.
Par arrêt du 4 juin 2002, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a cassé le jugement précité, reprochant au premier juge de n'avoir pas autorisé X._ à apporter la preuve libératoire de la vérité ou de la bonne foi.
C. A la suite du renvoi du dossier, le Tribunal de police du district de Boudry a en particulier procédé à l'audition de N._. Par jugement du 18 août 2003, il a condamné X._, pour injure, à 200 francs d'amende. Il ressort notamment ce qui suit de ce jugement:
Quant au contenu de la télécopie, le tribunal a exclu la qualification d'injure pour l'accusation faite à B._ d'avoir dérobé certaines affaires, celle-ci ayant admis avoir emporté des objets. En revanche, le tribunal a retenu l'injure par rapport aux propos selon lesquels B._ avait attenté à la vie privée, calomnié et diffamé des personnes étrangères. Le tribunal a relevé que X._ avait adressé la télécopie à B._ deux jours après l'appel téléphonique de N._ à son domicile et qu'il avait certainement rédigé cet écrit lorsque cette dernière lui avait parlé d'appels téléphoniques reçus à la clinique où elle travaillait et émanant d'une personne qui voulait lui parler, mais qui n'avait pas laissé ses coordonnées. En se fondant sur les déclarations de N._, le tribunal a retenu que l'auteur des appels à la clinique ne lui avait pas parlé directement ni n'avait discuté avec ses collègues et que, par conséquent, ni elle-même ou des tiers n'avaient été calomniés, diffamés ou atteints dans leur vie privée, contrairement à ce que X._ reprochait à B._.
Quant au contenu de la télécopie, le tribunal a exclu la qualification d'injure pour l'accusation faite à B._ d'avoir dérobé certaines affaires, celle-ci ayant admis avoir emporté des objets. En revanche, le tribunal a retenu l'injure par rapport aux propos selon lesquels B._ avait attenté à la vie privée, calomnié et diffamé des personnes étrangères. Le tribunal a relevé que X._ avait adressé la télécopie à B._ deux jours après l'appel téléphonique de N._ à son domicile et qu'il avait certainement rédigé cet écrit lorsque cette dernière lui avait parlé d'appels téléphoniques reçus à la clinique où elle travaillait et émanant d'une personne qui voulait lui parler, mais qui n'avait pas laissé ses coordonnées. En se fondant sur les déclarations de N._, le tribunal a retenu que l'auteur des appels à la clinique ne lui avait pas parlé directement ni n'avait discuté avec ses collègues et que, par conséquent, ni elle-même ou des tiers n'avaient été calomniés, diffamés ou atteints dans leur vie privée, contrairement à ce que X._ reprochait à B._.
D. Par arrêt du 6 octobre 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi en cassation de X._.
D. Par arrêt du 6 octobre 2004, la Cour de cassation pénale du Tribunal cantonal neuchâtelois a rejeté le pourvoi en cassation de X._.
E. Celui-ci forme un recours de droit public et un pourvoi en nullité au Tribunal fédéral contre cet arrêt. Il conclut à son annulation.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Conformément à l'art. 275 al. 5 PPF, le recours de droit public est examiné en premier lieu.
I. Recours de droit public
I. Recours de droit public
2. 2.1 Le recours de droit public au Tribunal fédéral est ouvert contre une décision cantonale pour violation des droits constitutionnels des citoyens (art. 84 al. 1 let. a OJ). Il n'est en revanche pas ouvert pour se plaindre d'une violation du droit fédéral, qui peut donner lieu à un pourvoi en nullité (art. 269 al. 1 PPF); un tel grief ne peut donc pas être invoqué dans le cadre d'un recours de droit public, qui est subsidiaire (art. 84 al. 2 OJ; art. 269 al. 2 PPF).
2.2 Le recours de droit public n'est, sous réserve de certaines exceptions, recevable qu'à l'encontre des décisions prises en dernière instance cantonale (art. 86 al. 1 OJ). L'exigence de l'épuisement des instances cantonales signifie que le recourant doit faire valoir ses griefs devant la dernière instance cantonale et ne peut pas en soulever de nouveaux dans le cadre du recours de droit public. Une exception est toutefois admise lorsque l'autorité cantonale disposait d'un pouvoir d'examen libre et devait appliquer le droit d'office, sauf lorsque le nouveau grief se confond avec l'arbitraire ou lorsque le fait d'avoir attendu à présenter un grief lié à la conduite de la procédure est contraire à la bonne foi (<ref-ruling> consid. 1a p. 90/91).
2.3 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
2.3 En vertu de l'art. 90 al. 1 let. b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si la décision attaquée est en tous points conforme au droit ou à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.6 p. 189, 113 consid. 2.1 p. 120; <ref-ruling> consid. 1c p. 76). Le Tribunal fédéral n'entre pas non plus en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1b p. 495).
3. Le recourant conteste l'établissement de faits et l'appréciation des preuves. Il se plaint à cet égard d'arbitraire et de violation de la présomption d'innocence. Telle qu'invoquée en l'occurrence, la présomption d'innocence n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 2a p. 41).
En procédure pénale neuchâteloise, la Cour de cassation cantonale est liée par les constatations de fait du premier juge. Elle n'a pas à vérifier si celui-ci a bien ou mal apprécié les preuves ni ne saurait substituer sa propre appréciation des faits à celle de la juridiction inférieure. Elle peut toutefois être saisie d'un pourvoi pour arbitraire dans la constatation des faits (cf. Alain Bauer/Pierre Cornu, Code de procédure pénale neuchâtelois annoté, art. 251 CPP/NE n. 8 et 11, p. 523/524).
En l'espèce, l'arrêt attaqué ne contient aucune analyse spécifique sur le fond de critiques similaires à celles développées par le recourant sur l'établissement des faits dans son recours de droit public. Autrement dit, il n'apparaît pas que le recourant aurait saisi la Cour de cassation neuchâteloise de griefs portant sur l'arbitraire dans la constatation des faits. Tout du moins, la Cour de cassation neuchâteloise n'a pas abordé de tels griefs. Il s'ensuit que, du point de vue de l'épuisement des instances cantonales (supra, consid. 2.2), le recourant devait expliquer dans son recours de droit public quelle motivation il avait présentée en instance cantonale de recours, dire en quoi cette motivation était suffisante selon la procédure cantonale et démontrer en quoi la Cour de cassation neuchâteloise avait commis un déni de justice en ne la traitant pas. Il n'en fait rien. Ses griefs sont donc irrecevables faute d'épuisement des instances cantonales. Au demeurant, les griefs soulevés tiennent de la plaidoirie. Largement appellatoires, ils sont également irrecevables pour cet autre motif (supra, consid. 2.3). Il en va de même des quelques remarques émises par le recourant dans sa brève rubrique intitulée "Egalité et garanties générales de procédure".
En l'espèce, l'arrêt attaqué ne contient aucune analyse spécifique sur le fond de critiques similaires à celles développées par le recourant sur l'établissement des faits dans son recours de droit public. Autrement dit, il n'apparaît pas que le recourant aurait saisi la Cour de cassation neuchâteloise de griefs portant sur l'arbitraire dans la constatation des faits. Tout du moins, la Cour de cassation neuchâteloise n'a pas abordé de tels griefs. Il s'ensuit que, du point de vue de l'épuisement des instances cantonales (supra, consid. 2.2), le recourant devait expliquer dans son recours de droit public quelle motivation il avait présentée en instance cantonale de recours, dire en quoi cette motivation était suffisante selon la procédure cantonale et démontrer en quoi la Cour de cassation neuchâteloise avait commis un déni de justice en ne la traitant pas. Il n'en fait rien. Ses griefs sont donc irrecevables faute d'épuisement des instances cantonales. Au demeurant, les griefs soulevés tiennent de la plaidoirie. Largement appellatoires, ils sont également irrecevables pour cet autre motif (supra, consid. 2.3). Il en va de même des quelques remarques émises par le recourant dans sa brève rubrique intitulée "Egalité et garanties générales de procédure".
4. En l'absence de tout grief recevable, le recours de droit public est irrecevable.
II. Pourvoi en nullité
II. Pourvoi en nullité
5. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Il ne peut donc pas revoir les faits retenus dans la décision attaquée ni la manière dont ils ont été établis, de sorte que ces points, sous peine d'irrecevabilité, ne peuvent pas être remis en cause dans le pourvoi (<ref-ruling> consid. 1 p. 66/67).
5. Saisi d'un pourvoi en nullité, le Tribunal fédéral contrôle l'application du droit fédéral (art. 269 PPF) sur la base d'un état de fait définitivement arrêté par l'autorité cantonale (cf. art. 273 al. 1 let. b et 277bis al. 1 PPF). Il ne peut donc pas revoir les faits retenus dans la décision attaquée ni la manière dont ils ont été établis, de sorte que ces points, sous peine d'irrecevabilité, ne peuvent pas être remis en cause dans le pourvoi (<ref-ruling> consid. 1 p. 66/67).
6. Le recourant se plaint de sa condamnation en vertu de l'<ref-law>, contestant avoir agi intentionnellement.
En plusieurs passages de son mémoire, le recourant s'écarte des faits retenus ou introduit des faits non constatés. Dans cette mesure, son argumentation est irrecevable (supra, consid. 5).
Dans sa télécopie, le recourant a reproché à l'intimée d'avoir attenté à la vie privée, calomnié, diffamé des personnes étrangères. Selon les constatations cantonales, le recourant a admis que "les personnes étrangères" mentionnées étaient N._ et son mari. La Cour de cassation neuchâteloise a relevé qu'en supposant que les appels téléphoniques anonymes passés à la clinique où travaille N._ puissent être imputés à l'intimée, ces appels étaient restés sans dialogue comme l'avait reconnu N._; qu'ils ne contenaient dès lors rien d'attentatoire à l'honneur; que ce fait ne pouvait échapper au recourant compte tenu de son niveau culturel et intellectuel (il est médecin-psychiatre).
Interprétés objectivement, les reproches formulés par le recourant dans sa télécopie évoquent un comportement méprisable de la part de l'intimée. Affirmer que quelqu'un a commis une atteinte à l'honneur constitue en effet une atteinte à l'honneur (<ref-ruling> consid. 2 p. 324; arrêt non publié 6S.105/1995 du 5 avril 1995, consid. 2a/aa, reproduit in RJJ 1995 p. 70). C'est donc à bon escient que la Cour de cassation neuchâteloise a admis que les assertions en question étaient attentatoires à l'honneur. Par ailleurs, selon les constatations cantonales, il ne pouvait échapper au recourant que l'intimée n'avait elle-même pas eu de comportement répréhensible à l'égard de N._ ou de tiers. Par sa télécopie, le recourant n'a donc pu que chercher à porter atteinte à l'intimée. Il ressort en outre de l'arrêt attaqué que le recourant connaissait le sens général des termes "calomnié" et "diffamé" dont il s'est servi. On déduit de ces différents éléments que c'est avec conscience et volonté que le recourant s'est adressé à l'intimée avec des propos objectivement injurieux. L'élément intentionnel de l'infraction est réalisé. La condamnation du recourant en vertu de l'<ref-law> ne viole pas le droit fédéral.
Interprétés objectivement, les reproches formulés par le recourant dans sa télécopie évoquent un comportement méprisable de la part de l'intimée. Affirmer que quelqu'un a commis une atteinte à l'honneur constitue en effet une atteinte à l'honneur (<ref-ruling> consid. 2 p. 324; arrêt non publié 6S.105/1995 du 5 avril 1995, consid. 2a/aa, reproduit in RJJ 1995 p. 70). C'est donc à bon escient que la Cour de cassation neuchâteloise a admis que les assertions en question étaient attentatoires à l'honneur. Par ailleurs, selon les constatations cantonales, il ne pouvait échapper au recourant que l'intimée n'avait elle-même pas eu de comportement répréhensible à l'égard de N._ ou de tiers. Par sa télécopie, le recourant n'a donc pu que chercher à porter atteinte à l'intimée. Il ressort en outre de l'arrêt attaqué que le recourant connaissait le sens général des termes "calomnié" et "diffamé" dont il s'est servi. On déduit de ces différents éléments que c'est avec conscience et volonté que le recourant s'est adressé à l'intimée avec des propos objectivement injurieux. L'élément intentionnel de l'infraction est réalisé. La condamnation du recourant en vertu de l'<ref-law> ne viole pas le droit fédéral.
7. Se prévalant d'une provocation injuste ou d'une offence imméritée, le recourant requiert l'application de l'<ref-law>.
Le recourant fonde son argumentation sur des faits non constatés en instance cantonale. Ce procédé n'est pas admissible dans un pourvoi (supra, consid. 5). Le grief est ainsi irrecevable.
Le recourant fonde son argumentation sur des faits non constatés en instance cantonale. Ce procédé n'est pas admissible dans un pourvoi (supra, consid. 5). Le grief est ainsi irrecevable.
8. Le recourant se réfère aussi à l'<ref-law>. Il ne fournit toutefois aucun développement qui remplirait les exigences minimales de motivation déduites de l'art. 273 al. 1 let. b PPF (<ref-ruling> consid. 5.1 p. 19).
III. Frais et indemnité
III. Frais et indemnité
9. Le recourant, qui succombe, supporte les frais relatifs aux deux recours interjetés (art. 156 al. 1 OJ; 278 al. 1 PPF).
Il n'y a pas lieu d'allouer d'indemnité à l'intimée, laquelle n'a pas eu à intervenir dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est irrecevable.
1. Le recours de droit public est irrecevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
2. Le pourvoi en nullité est rejeté dans la mesure où il est recevable.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux mandataires des parties, au Ministère public du canton de Neuchâtel et à la Cour de cassation pénale du Tribunal cantonal neuchâtelois.
Lausanne, le 10 décembre 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: Le greffier: