Faits:
A. Par jugement du 27 juillet 2009, le Tribunal de police de l'arrondissement de l'Est vaudois a condamné X._ pour calomnie (art. 174 CP) à une peine pécuniaire de trente jours-amende, le montant du jour-amende étant fixé à 1000 fr., et a suspendu l'exécution de cette peine pendant deux ans. Sur le plan civil, il a reconnu X._ débiteur de Y._ de la somme de 3000 fr. à titre d'indemnité pour tort moral.
B. Par arrêt du 29 mars 2010, la Cour de cassation pénale du Tribunal cantonal vaudois a partiellement admis le recours formé par X._ et réformé le jugement de première instance. Elle a réduit le montant du jour-amende à 500 fr. et rejeté la conclusion de Y._ en paiement d'une indemnité pour tort moral.
Elle retient en substance les faits suivants:
X._ et Y._ se sont mariés en 1979 et ont eu trois filles, nées en 1983, 1986 et 1993. Ils ont rencontré de très importantes difficultés conjugales pendant leur union et ont divorcé en 2003. Après le prononcé de divorce, ils ont continué à se quereller, aussi bien sur le plan civil que pénal.
Le 28 mars 2006, A._, ex-ami de Y._, a adressé un fax daté du 2 mars 2006 à X._. Ce document décrivait notamment celle-ci comme une femme "extrêmement manipulatrice" et qui "exerce une forme de terreur affective sur ses proches". L'auteur du message insistait sur le comportement "égoïste et jouisseur" et sur la vulgarité de l'intéressée, affirmant que, lors de festivals, elle "consomme trop d'alcool et fume des joints sans retenue, au vu de tous". Elle aurait dit, devant ses enfants, "envier ceux qui prennent d'autres substances". Il la dépeignait encore comme instable et "pathétique". Il dénonçait son "immaturité", usant d'expressions du genre "telle une écolière de quinze ans" ou "après mille facéties dignes d'une adolescente de quatorze ans". Il racontait qu'à une reprise en 2004, "ruinée par trois semaines de fête sans sommeil", elle avait jeté à terre et cassé sa table en verre et ainsi terrorisé toute sa famille. Il ressort également des propos tenus par l'intéressé que les filles de Y._ vivaient mal l'absence de leur mère et venaient se réfugier chez lui lorsque la précitée "avait pété les plombs pour de bon". Il ajoutait enfin que "(Y._) n'aime ses enfants que pour la pension qu'elle touche" et qu'elle "l'a même dit sans détour à ses filles". Selon lui, elle cherchait par ailleurs systématiquement à dénigrer X._ aux yeux de leurs enfants.
Au printemps et en été 2006, X._ a adressé un courrier, accompagné du fax de A._, à différents amis du couple.
Le 19 septembre 2006, Y._ a déposé une plainte pénale et s'est constituée partie civile pour un montant de 5000 fr. à titre de dommages et intérêts.
C. Contre cet arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à la réforme de l'arrêt attaqué en ce sens qu'il est libéré de l'accusation de calomnie, subsidiairement qu'il est condamné pour diffamation et exempté de toute peine et, plus subsidiairement, qu'il est condamné à une peine plus modérée.
Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Dénonçant la violation de son droit d'être entendu, le recourant reproche à la cour cantonale de ne pas s'être prononcée sur la réquisition de production du dossier pénal PE06.012648. Selon lui, cette procédure pénale, pour violation du devoir d'assistance ou d'éducation, dirigée contre son ex-épouse, à la suite d'une plainte qu'il avait déposée, permettrait de mettre en évidence ses motivations à se battre en faveur du bien-être de ses enfants et pour le maintien des relations personnelles avec eux.
1.1 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit de produire des preuves pertinentes, le droit d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes et le droit de participer à l'administration des preuves essentielles, lorsque cela est de nature à influer sur la décision à rendre (ATF 127 III 576 consid. 2c p. 578 s.; 127 V 431 consid. 3a p. 436; 124 II 132 consid. 2b p. 137 et la jurisprudence citée). Le Tribunal fédéral n'entre en matière sur les griefs d'ordre constitutionnel que si ceux-ci ont été invoqués et suffisamment motivés dans l'acte de recours (art. 106 al. 2 LTF).
1.2 En l'espèce, le recourant, qui était partie à la procédure PE06.012648 et qui avait donc connaissance du dossier, a produit un onglet de pièces (pièce 61), contenant les pièces importantes dudit dossier pour la présente cause, à savoir un arrêt du 13 mai 2009 du Tribunal d'accusation confirmant le non-lieu en faveur de Y._, deux procès-verbaux d'audition de A._ ainsi qu'un procès-verbal d'audition de B._. Dans ces conditions, la cour de céans ne voit pas en quoi le recourant a été privé de son droit de participer à l'administration des preuves et, partant, en quoi son droit d'être entendu aurait été violé. Le recourant ne l'explique du reste pas et, en particulier, ne mentionne pas les autres pièces dont il aurait aimé la production. Dans la mesure de sa recevabilité, le grief tiré de la violation du droit d'être entendu doit être rejeté.
2. Le recourant reproche à la cour cantonale d'avoir établi les faits de manière manifestement inexacte (art. 97 al. 1 LTF) en retenant que le message de A._ qu'il a envoyé à ses amis contenait de fausses allégations et qu'il en connaissait la fausseté.
2.1 Le Tribunal fédéral ne peut revoir les faits établis par l'autorité précédente que s'ils l'ont été de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire. On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (voir par ex: ATF 135 V 2 consid. 1.3 p. 4/5; 134 I 140 consid. 5.4 p. 148; 133 I 149 consid. 3.1 p. 153 et les arrêts cités). En bref, pour qu'il y ait arbitraire, il ne suffit pas que la décision attaquée apparaisse discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat. Le grief d'arbitraire doit être invoqué et motivé de manière précise (art. 106 al. 2 LTF).
2.2 Le recourant reproche à la cour cantonale d'avoir versé dans l'arbitraire en écartant les rapports établis par le Service de protection de la jeunesse (en particulier les rapports des 29 juillet et 7 décembre 2005 [pièce 44]).
Il ressort certes de ces rapports (en particulier de celui du 29 juillet 2005) que Y._ dénigrait le recourant auprès de ses filles. Le message de A._ contient cependant d'autres accusations, sur lesquelles les rapports du SPJ ne se prononcent pas. C'est ainsi que ce message accuse l'intimée d'exercer une forme de terreur affective sur ses proches, d'être alcoolique, de fumer des joints sans retenue et de n'aimer ses enfants que pour la pension qu'elle touche. Prises dans leur ensemble, ces accusations font apparaître l'intimée comme une mère méprisable et manipulatrice (cf. consid. 3.2). Or, en se fondant sur l'arrêt du 13 mai 2009 du Tribunal d'accusation (procédure PE06.012648 susmentionnée), les autorités cantonales ont retenu que cette description ne correspondait pas à la réalité (cf. jugement de première instance p. 16). En effet, se référant à un rapport du 5 octobre 2004 du Service de psychiatrie et psychothérapie d'enfants et d'adolescents et à un rapport du 26 août 2008 de la Consultation Interdisciplinaire de la Maltraitance Intrafamiliale (CIMI), cet arrêt constate que l'intimée offrait un environnement adéquat à sa fille et montrait plutôt une attitude appropriée avec elle, même en ce qui concerne ses relations avec son père (arrêt cité p. 3). Cet arrêt du Tribunal d'accusation mentionne en outre qu'aucune infraction à la loi fédérale sur les stupéfiants n'a été retenue contre Y._ (arrêt cité p. 4). Au vu de ces constatations, la cour cantonale n'est donc pas tombée dans l'arbitraire en retenant que les affirmations faisant apparaître Y._ comme une mère méprisable et manipulatrice étaient fausses. Il n'est pour le surplus pas déterminant de savoir si l'intimée a effectivement dénigré le recourant auprès de ses filles, puisque les autres allégations constituent déjà une atteinte à l'honneur et sont erronées.
S'agissant de la question de la connaissance de la fausseté des allégations litigieuses, le recourant connaissait le rapport du 5 octobre 2004 précité lorsqu'il a adressé le message de A._ à ses amis, de sorte qu'il savait que son ex-épouse offrait un environnement adéquat à sa fille. Contrairement à ce que soutient le recourant, le rapport du SPJ, daté du 29 juillet 2005, ne sous-entend pas que Y._ était une mauvaise mère, mais explique que C._ se trouvait dans un conflit de loyauté vis-à-vis de ses parents. Dans ces conditions, la cour cantonale n'a pas fait preuve d'arbitraire en retenant que le recourant connaissait la fausseté des allégations figurant dans le fax de A._.
2.3 Le recourant fait grief à la cour cantonale de ne pas avoir tenu compte des déclarations de A._ dans l'enquête PE06.012648 et lors de l'audience du 27 juillet 2009.
Lors de l'enquête PE06.012648, A._ n'a que confirmé que l'intimée a dénigré le recourant auprès de ses filles (ce qui n'est pas déterminant pour le sort de la cause) et qu'elle fumait du cannabis (ce qui est contredit par l'arrêt du Tribunal d'accusation). Pour le surplus, la cour de céans ignore le contenu des dépositions faites lors de l'audience du 27 juillet 2009 et notamment si A._ a confirmé les accusations portées dans son message adressé au recourant en mars 2006, puisque le tribunal de première instance n'a pas verbalisé ces déclarations. Dans ces conditions, on ne saurait reprocher à la cour cantonale d'être tombée dans l'arbitraire en ne tenant pas compte des déclarations de A._. Le grief soulevé par le recourant est donc infondé.
3. Selon l'art. 174 CP, celui qui, connaissant la fausseté de ses allégations, a, en s'adressant à un tiers, accusé une personne ou jeté sur elle le soupçon de tenir une conduite contraire à l'honneur, ou de tout autre fait propre à porter atteinte à sa considération est, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
Le recourant conteste sa condamnation pour calomnie. Selon lui, la lettre de A._, qu'il a adressée en copie à différents couples d'amis, contiendrait des propos véridiques. En outre, ces propos, dont certains ne seraient que des jugements de valeur et non des faits, ne seraient pas attentatoires à l'honneur. Dans tous les cas, le recourant soutient qu'il ne connaissait pas la fausseté des allégations de A._.
Le recourant conteste sa condamnation pour calomnie. Selon lui, la lettre de A._, qu'il a adressée en copie à différents couples d'amis, contiendrait des propos véridiques. En outre, ces propos, dont certains ne seraient que des jugements de valeur et non des faits, ne seraient pas attentatoires à l'honneur. Dans tous les cas, le recourant soutient qu'il ne connaissait pas la fausseté des allégations de A._.
3.1 3.1.1 La calomnie implique la formulation ou la propagation d'allégations de fait, qui sont attentatoires à l'honneur de la personne visée. L'honneur protégé par le droit pénal est le droit de chacun de ne pas être considéré comme une personne méprisable (ATF 132 IV 112 consid. 2.1 p. 115; 128 IV 53 consid. 1a p. 58; 117 IV 27 consid. 2c p. 28/29). Selon la jurisprudence, les art. 173 ss CP ne protègent que l'honneur personnel, la réputation et le sentiment d'être un homme honorable, de se comporter, en d'autres termes, comme un homme digne a coutume de le faire selon les idées généralement reçues. Echappent à ces dispositions les déclarations qui sont propres seulement à ternir de quelque autre manière la réputation dont jouit quelqu'un dans son entourage ou à ébranler sa confiance en lui-même: ainsi en va-t-il des critiques qui visent comme tel l'homme de métier, l'artiste ou le politicien (ATF 128 IV 53 consid. 1a p. 58; 119 IV 44 consid. 2a p. 47; 117 IV 27 consid. 2c p. 28/29; 116 IV 205 consid. 2 p. 206/207). Pour déterminer si une déclaration est attentatoire à l'honneur, il ne faut pas se fonder sur le sens que lui donne la personne visée, mais sur une interprétation objective selon le sens qu'un destinataire non prévenu doit, dans les circonstances données, lui attribuer (ATF 128 IV 53 consid. 1a p. 58; 119 IV 44 consid. 2a p. 47; 117 IV 27 consid. 2c p. 29/30 et les arrêts cités).
3.1.2 Pour que l'auteur se rende coupable de calomnie, l'atteinte à l'honneur doit être communiquée à un tiers et porter sur un fait (et ne pas constituer un simple jugement de valeur). L'auteur doit évoquer une conduite contraire à l'honneur ou tout autre fait propre à porter atteinte à la considération de la personne visée (cf. art. 174 CP). Alors qu'en cas de diffamation, il appartient à l'auteur de prouver que les allégations propagées sont conformes à la vérité ou qu'il avait des raisons sérieuses de les tenir de bonne foi pour vraies, les autorités pénales doivent prouver en cas de calomnie que le fait allégué est faux.
3.1.3 La calomnie est un délit intentionnel. L'auteur doit agir avec l'intention de tenir des propos attentatoires à l'honneur d'autrui et de les communiquer à des tiers; le dol éventuel est à cet égard suffisant (arrêt 6S.6/2002 du 6 février 2002 du Tribunal fédéral consid. 2a). L'art. 174 CP exige en outre que l'auteur agisse en "connaissant la fausseté de ses allégations". Il doit ainsi savoir que le fait qu'il évoque est faux. Il s'agit d'une connaissance stricte; sur ce point, le dol éventuel ne suffit pas (ATF 76 IV 244 s.). La preuve de cet élément subjectif spécifique (la connaissance de la fausseté de l'allégation) incombe à l'accusation (JOSÉ HURTADO POZO, Droit pénal, Partie spéciale, 2009, n. 2098; TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, Praxiskommentar, 2008, n. 3 ad art. 174).
3.2 En l'espèce, la lettre de A._, que le recourant a adressée à plusieurs personnes, décrit l'intimée comme une personne extrêmement manipulatrice, qui exercerait une forme de terreur affective sur ses proches, qui serait alcoolique et qui n'aimerait ses enfants que pour la pension qu'elle touche. Prises dans leur ensemble, ces accusations font apparaître l'intimée comme une mère méprisable et manipulatrice. De plus, certaines affirmations prises pour elles-même, comme celles tendant à faire accroire que l'intimée n'aimait ses filles que "pour la pension qu'elle touche" la présentent également comme une personne vile. La lettre de A._, qui évoque des conduites méprisables, était donc de nature à porter atteinte à l'honneur de l'ex-épouse du recourant.
Ce dernier a communiqué ce courrier à des amis et a par-là jeté le soupçon que son épouse tenait une conduite contraire à l'honneur. Savoir si les allégations litigieuses étaient fausses et si le recourant en avait connaissance relève de l'établissement des faits (ATF 135 IV 152 consid. 2.3.2 p. 156), qui lient la cour de céans, à moins que ceux-ci ne soient entachés d'arbitraire (cf. art. 97 al. 1 LTF; consid. 2.1). Or, comme vu sous les considérants 2.2 et 2.3, la cour cantonale a retenu sans arbitraire leur fausseté et la connaissance de cette fausseté par le recourant.
En conclusion, les éléments, objectifs et subjectifs, de la calomnie sont réalisés. La cour cantonale n'a donc pas violé le droit fédéral en reconnaissant le recourant coupable de calomnie.
4. Condamné à une peine pécuniaire de trente jours-amende d'un montant non critiqué de 500 fr., le recourant en conteste la quotité, qu'il juge excessive.
4.1 Pour fixer le nombre de jours-amende, le juge se fonde sur la culpabilité de l'auteur (art. 34 al. 1 CP). Pour ce faire, il se référera aux critères posés à l'art. 47 CP. Il tiendra compte des antécédents et de la situation personnelle de l'auteur ainsi que de l'effet de la peine sur son avenir (art. 47 al. 1 CP ). L'alinéa 2 de cette disposition énumère une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur (ATF 134 IV 17 consid. 2.1 et les références citées).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, se fonde sur des critères étrangers à l'art. 47 CP, omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (ATF 134 IV 17 consid. 2.1; 129 IV 6 consid. 6.1 et les références citées).
4.2 En l'espèce, le recourant a diffusé des propos dénigrants sur son ex-épouse auprès de personnes ayant de l'influence dans le village où les parties sont toutes deux domiciliées, sachant pertinemment qu'il lui nuirait de façon importante. Il a agi au mépris total de la personne de l'intimée, aveuglé par sa rancune. A décharge, on peut tenir compte du fait que ces actes s'inscrivaient dans le cadre d'un lourd et long conflit conjugal. Vu l'ensemble des circonstances, la cour cantonale a à juste titre tenu la culpabilité du recourant pour lourde et n'a pas excédé son pouvoir d'appréciation en prononçant une peine pécuniaire de trente jours-amende.
5. Le recours doit être rejeté dans la mesure où il est recevable.
Le recourant qui succombe devra supporter les frais (art. 66 al. 1 LTF).
Il n'y a pas lieu d'allouer d'indemnité à l'intimée qui n'a pas déposé de mémoire dans la procédure devant le Tribunal fédéral.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 21 octobre 2010
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Kistler Vianin