Faits:
Faits:
A. A partir de 1989, A.Z._ a confié à X._, avocat et notaire, divers mandats dont le dernier a pris fin en mai 2000. Il s'est séparé de son épouse, B.Z._, au mois de mars 1999 et la procédure de divorce s'est achevée le 26 août 2002 par la ratification d'une convention. A la fin du mois d'octobre 1999, il a appris que son épouse avait des relations intimes avec son mandataire depuis 1997. Par l'intermédiaire de diverses personnes, il a notamment pris connaissance d'une dénonciation de X._ auprès de l'autorité de surveillance des avocats, d'un blâme prononcé à son encontre et du fait que ce dernier dépensait beaucoup d'énergie et de temps à régler les problèmes qu'il avait lui-même créés.
A.Z._ a constaté que, depuis la fin septembre 1999, son épouse communiquait par télécopie avec l'étude de X._. Il l'a dès lors soupçonnée de prendre des conseils juridiques auprès de son amant pour la procédure matrimoniale. B.Z._ a admis que, lorsque son ménage s'est dégradé, elle a trouvé en X._ un confident. Elle l'a rencontré à titre privé et professionnel, bien qu'il n'agissait pas officiellement comme son avocat.
De janvier à juillet 2000, A.Z._ a adressé à son épouse divers messages comportant de nombreuses critiques à l'adresse de X._. Il lui a notamment affirmé que son amant était sujet à une avalanche de plaintes pour malversations et abus de toute sorte et avait battu son ex-femme.
De janvier à juillet 2000, A.Z._ a adressé à son épouse divers messages comportant de nombreuses critiques à l'adresse de X._. Il lui a notamment affirmé que son amant était sujet à une avalanche de plaintes pour malversations et abus de toute sorte et avait battu son ex-femme.
B. Le 25 janvier 2001, en se fondant sur ces messages, B.Z._, représentée par Me Y._, a déposé une requête de mesures provisionnelles tendant notamment à interdire à A.Z._ de répéter à quiconque les propos tenus dans ses écrits au sujet de X._. Le juge de district a rejeté cette requête par décision du 7 mars 2001 contre laquelle B.Z._ a interjeté recours auprès du Tribunal cantonal valaisan.
Le 28 mars 2001, cette dernière, par l'intermédiaire de son mandataire, a dénoncé A.Z._ pour contrainte en invoquant les messages susmentionnés.
Le 28 mars 2001, cette dernière, par l'intermédiaire de son mandataire, a dénoncé A.Z._ pour contrainte en invoquant les messages susmentionnés.
C. Le 1er mai 2001, X._ a porté plainte pour atteinte à l'honneur, menace et actes de concurrence déloyale contre A.Z._ et l'a dénoncé pour contrainte.
Le 3 novembre 2003, le juge des districts de Martigny et St-Maurice a condamné A.Z._ pour diffamation à 2'000 fr. d'amende et renvoyé les prétentions civiles du plaignant au for civil.
Le 3 novembre 2003, le juge des districts de Martigny et St-Maurice a condamné A.Z._ pour diffamation à 2'000 fr. d'amende et renvoyé les prétentions civiles du plaignant au for civil.
D. Par jugement du 20 janvier 2004, la Cour pénale II du Tribunal cantonal valaisan a libéré A.Z._ de la poursuite pénale et condamné X._ au paiement des frais par 3'814 fr. 50 et des dépens par 4'400 fr. Elle a jugé que la plainte du 1er mai 2001 avait été déposée tardivement, puisque le plaignant avait eu connaissance des messages litigieux et de leur auteur avant le 31 janvier 2001. Elle a estimé que les déclarations de X._ et de sa maîtresse relatives à la date de la connaissance de l'infraction n'étaient pas convaincantes. Elle a relevé que les messages litigieux avaient été rédigés de janvier à juin 2000, qu'à cette époque, les amants étaient intensément liés, qu'ils partageaient leurs loisirs et passaient leurs vacances en commun avec leurs enfants respectifs et que le plaignant était progressivement devenu le confident de B.Z._, puis son amant et son conseiller juridique dans les diverses procédures qui l'ont opposée à son époux depuis octobre 1999, allant jusqu'à rédiger des écritures qu'elle signait ensuite de son propre nom. Il était par ailleurs invraisemblable, alors que son amant la conseillait activement dans ses démarches juridiques, que B.Z._ ait mené, à son insu, la procédure de mesures provisionnelles tendant - dans l'intérêt de X._ - à faire interdire la divulgation des propos contenus dans les messages, ainsi que la poursuite pénale pour contrainte.
D. Par jugement du 20 janvier 2004, la Cour pénale II du Tribunal cantonal valaisan a libéré A.Z._ de la poursuite pénale et condamné X._ au paiement des frais par 3'814 fr. 50 et des dépens par 4'400 fr. Elle a jugé que la plainte du 1er mai 2001 avait été déposée tardivement, puisque le plaignant avait eu connaissance des messages litigieux et de leur auteur avant le 31 janvier 2001. Elle a estimé que les déclarations de X._ et de sa maîtresse relatives à la date de la connaissance de l'infraction n'étaient pas convaincantes. Elle a relevé que les messages litigieux avaient été rédigés de janvier à juin 2000, qu'à cette époque, les amants étaient intensément liés, qu'ils partageaient leurs loisirs et passaient leurs vacances en commun avec leurs enfants respectifs et que le plaignant était progressivement devenu le confident de B.Z._, puis son amant et son conseiller juridique dans les diverses procédures qui l'ont opposée à son époux depuis octobre 1999, allant jusqu'à rédiger des écritures qu'elle signait ensuite de son propre nom. Il était par ailleurs invraisemblable, alors que son amant la conseillait activement dans ses démarches juridiques, que B.Z._ ait mené, à son insu, la procédure de mesures provisionnelles tendant - dans l'intérêt de X._ - à faire interdire la divulgation des propos contenus dans les messages, ainsi que la poursuite pénale pour contrainte.
E. X._ dépose auprès du Tribunal fédéral un recours de droit public et un pourvoi en nullité et conclut à l'annulation du jugement attaqué. Dans le premier mémoire, il invoque l'arbitraire, une violation de la présomption d'innocence et des art. 139, 140, 207 ch. 1 CPP/VS et 29 al. 2 Cst. Dans le second mémoire, il se plaint d'une violation des <ref-law> et 249 PPF et du principe "in dubio pro reo".

Le Tribunal fédéral considère en droit:
I. Recours de droit public
I. Recours de droit public
1. Le Tribunal fédéral examine d'office et avec une pleine cognition la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 339; <ref-ruling> consid. 2 p. 456).
1.1 La loi fédérale sur l'aide aux victimes d'infractions (LAVI; RS 312.5) renforce les droits de procédure des personnes victimes d'une infraction en leur ouvrant, sous certaines conditions, les mêmes recours que le prévenu, soit notamment le recours de droit public (art. 8 al. 1 let. c LAVI). La qualité pour recourir de la victime par la voie du recours de droit public se fonde alors directement sur l'art. 8 al. 1 let. c LAVI. Elle suppose que le recourant ait subi une atteinte directe à son intégrité corporelle, sexuelle ou psychique du fait de l'infraction dénoncée (<ref-law>). En exigeant que l'atteinte résulte directement de l'infraction, le législateur a voulu exclure du champ d'application de la LAVI le préjudice qu'une personne peut subir par exemple à la suite de délits contre l'honneur, de voies de fait, d'un vol ou d'une escroquerie, et qui sont des conséquences indirectes de ces infractions (Message du Conseil fédéral concernant la LAVI, FF 1990 II 925; cf. <ref-ruling> consid. 1b, 190 consid. 1). Le Tribunal fédéral examine librement si une personne est une victime au sens de cette disposition et ceci pour chacune des infractions en cause (<ref-ruling> consid. 2d p. 162 et les arrêts cités).
Le recourant se prétend victime de diffamation au sens de l'<ref-law>, qui fait partie des infractions contre l'honneur. Il ne démontre pas que les déclarations de l'intimé auraient eu des répercussions sensibles sur son intégrité physique ou psychique au sens de l'<ref-law>. Dans ces conditions, il ne peut se prévaloir des droits garantis par l'<ref-law>.
1.2 Selon la jurisprudence relative à l'art. 88 OJ, le plaideur qui intervient dans le procès pénal, notamment à titre de lésé, n'a en principe pas qualité pour former un recours de droit public contre les ordonnances refusant d'inculper l'auteur présumé, ou prononçant un classement ou un non-lieu en sa faveur, car l'action pénale appartient exclusivement à la collectivité publique. En règle générale, l'intervenant n'a qu'un simple intérêt de fait à obtenir que cette action soit effectivement mise en oeuvre. Un intérêt juridiquement protégé n'est reconnu qu'à la victime LAVI selon la définition précitée (cf. supra, consid. 1.1). Le plaignant qui ne bénéficie pas de la législation sur l'aide aux victimes d'infractions (cf. <ref-ruling> consid. 1b p. 187, 190 consid. 1, p. 191) n'a dès lors pas qualité pour recourir sur le fond. Il peut seulement se plaindre, le cas échéant, d'une violation de ses droits de partie à la procédure qui lui sont reconnus par le droit cantonal de procédure ou le droit constitutionnel, quand cette violation équivaut à un déni de justice formel (<ref-ruling> consid. 2 p.159 s.; voir aussi <ref-ruling> consid. 3b, 120 Ia 101 consid. 1a).
A cet égard, la partie recourante est autorisée à faire valoir que la qualité de partie au procès pénal aurait dû lui être reconnue, avec les droits correspondants, et qu'elle aurait aussi dû être entendue avant une décision lui déniant cette qualité. Son droit d'invoquer des garanties procédurales ne lui permet toutefois pas de mettre en cause, même de façon indirecte, le jugement au fond. Son recours ne peut donc pas porter sur des points indissociables de ce jugement tels que, notamment, le refus d'administrer une preuve sur la base d'une appréciation anticipée de celle-ci, ou le devoir de l'autorité de motiver sa décision de façon suffisamment détaillée (<ref-ruling> consid. 1 p. 229 s.).
1.2.1 Le recourant se plaint d'arbitraire dans l'appréciation des preuves, la cour cantonale ayant retenu, contrairement à ses déclarations et à celles de son témoin, qu'il avait eu connaissance des messages litigieux avant le 31 janvier 2001. Il invoque une violation du principe d'accusation, et plus particulièrement de l'art. 139 CPP/VS, au motif que la cour cantonale aurait élargi les faits retenus dans l'ordonnance de renvoi et pris en considération des éléments de conviction non contenus dans le dossier. Il se plaint aussi d'une violation du principe de la présomption d'innocence et d'une violation du droit d'être entendu, la cour cantonale n'ayant pas indiqué les motifs de libération de l'intimé.
Au regard de la jurisprudence précitée, ces griefs sont irrecevables, puisqu'ils ne portent que sur l'appréciation des preuves administrées et sur l'insuffisance alléguée de la motivation retenue par la cour cantonale et non sur les droits procéduraux du plaignant. Le fait que l'autorité n'ait pas discuté de l'infraction mise en cause, à savoir de l'<ref-law>, mais des conditions de forme et de recevabilité de l'ouverture de l'action pénale ne change rien quant à la limitation des griefs invoqués et le recourant n'a pas qualité pour contester les faits même si ces derniers se rapportent au délai du dépôt de la plainte pénale au sens de l'<ref-law>. En l'espèce, le recourant a participé à la procédure cantonale, durant laquelle il a pu invoquer tous ses droits de partie. Il a notamment pu se déterminer sur les conditions de recevabilité de l'action pénale et plus précisément sur la question de la date de la connaissance de l'infraction et du respect du délai de plainte et invoquer tous les moyens de preuves à sa disposition. Il ne prétend d'ailleurs pas ne pas avoir eu le droit de s'expliquer avant le prononcé de la décision, de ne pas avoir eu l'accès au dossier, ni la possibilité d'offrir des preuves quant aux faits de nature à influer sur la décision, de ne pas avoir pu participer à l'administration des preuves et de se déterminer à leur propos. Il n'invoque ainsi aucune violation de ses droits de partie équivalant à un déni de justice. Ses critiques consistent à rediscuter une question de recevabilité de l'action pénale, soit le délai de plainte, qui a été tranchée dans l'arrêt attaqué. Elles sont partant irrecevables.
1.2.2 Le plaignant a, par contre, qualité au sens de l'art. 88 OJ pour contester sa condamnation à supporter personnellement les frais et dépens de la procédure. Il a un intérêt personnel, actuel et juridiquement protégé à ce que le jugement soit annulé sur ce point.
1.2.2 Le plaignant a, par contre, qualité au sens de l'art. 88 OJ pour contester sa condamnation à supporter personnellement les frais et dépens de la procédure. Il a un intérêt personnel, actuel et juridiquement protégé à ce que le jugement soit annulé sur ce point.
2. Invoquant une application arbitraire de l'art. 207 CPP/VS et une violation des règles de la bonne foi, le recourant se plaint de sa condamnation aux frais de procédure après que plusieurs autorités lui aient donné la garantie que la plainte avait été déposée en temps utile.
2.1 Aux termes de l'art. 207 CPP/VS, en cas de non-lieu, d'acquittement ou de renonciation à la poursuite pénale, le prévenu ne supporte les frais que si, par un comportement contraire à l'ordre juridique, il a donné lieu à la procédure ou en a rendu plus difficile le déroulement (al. 2). Le plaignant peut être condamné au paiement de tout ou partie des frais en fonction du résultat auquel aboutit sa plainte. Il en est de même de la partie civile ou du dénonciateur qui a agi par dol ou légèreté, ou qui a compliqué l'instruction, notamment par une réquisition de preuve disproportionnée ou par des prétentions exagérées (al. 4).
Selon l'arrêt attaqué, en cas de procédure pénale privée, les frais ne sont jamais supportés par l'Etat, même dans l'hypothèse où la procédure ne débouche pas sur une reconnaissance de culpabilité. L'accusateur privé encourt un risque en matière de frais, puisque le sort de ceux-ci sont en principe fixés en fonction du résultat auquel aboutit sa plainte.
2.2 La cour cantonale a constaté que l'action pénale était éteinte, puisque la plainte avait été déposée tardivement. Elle a retenu que le plaignant avait provoqué l'ouverture de l'action pénale, alors qu'il savait que le délai de plainte était échu et qu'une enquête ne pouvait être ouverte et qu'il avait ainsi provoqué des frais inutiles qu'il se justifiait de mettre entièrement à sa charge, en première comme en seconde instance. Ces constatations de fait, qui ont conduit à la libération de l'intimé, n'ont pas à être revues par le Tribunal fédéral, qui n'a a fortiori pas à se prononcer sur les preuves retenues, en raison de l'absence de qualité pour recourir à cet égard (cf. supra, consid. 1). Il est vrai que, selon la loi cantonale, les frais et dépens auraient pu être mis à la charge du prévenu si ce dernier, par un comportement contraire à l'ordre juridique, avait donné lieu à la procédure ou rendu plus difficile son déroulement. La cour cantonale n'a toutefois pas établi de pareilles circonstances. Sur la base de ces éléments et en particulier du fait que la plainte n'a pas abouti, il n'est pas arbitraire de mettre les frais et dépens à la charge du recourant en application de l'art. 207 al. 4 CPP/VS. Cette décision n'est pas non plus contraire aux règles de la bonne foi, les autorités inférieures n'ayant pas donné, avant le dépôt de la plainte, de fausses indications au recourant, qui est au demeurant avocat. Le recours de droit public est donc mal fondé sur ce point.
2.2 La cour cantonale a constaté que l'action pénale était éteinte, puisque la plainte avait été déposée tardivement. Elle a retenu que le plaignant avait provoqué l'ouverture de l'action pénale, alors qu'il savait que le délai de plainte était échu et qu'une enquête ne pouvait être ouverte et qu'il avait ainsi provoqué des frais inutiles qu'il se justifiait de mettre entièrement à sa charge, en première comme en seconde instance. Ces constatations de fait, qui ont conduit à la libération de l'intimé, n'ont pas à être revues par le Tribunal fédéral, qui n'a a fortiori pas à se prononcer sur les preuves retenues, en raison de l'absence de qualité pour recourir à cet égard (cf. supra, consid. 1). Il est vrai que, selon la loi cantonale, les frais et dépens auraient pu être mis à la charge du prévenu si ce dernier, par un comportement contraire à l'ordre juridique, avait donné lieu à la procédure ou rendu plus difficile son déroulement. La cour cantonale n'a toutefois pas établi de pareilles circonstances. Sur la base de ces éléments et en particulier du fait que la plainte n'a pas abouti, il n'est pas arbitraire de mettre les frais et dépens à la charge du recourant en application de l'art. 207 al. 4 CPP/VS. Cette décision n'est pas non plus contraire aux règles de la bonne foi, les autorités inférieures n'ayant pas donné, avant le dépôt de la plainte, de fausses indications au recourant, qui est au demeurant avocat. Le recours de droit public est donc mal fondé sur ce point.
3. En conclusion, le recours de droit public est rejeté dans la mesure où il est recevable. Les frais doivent être mis à la charge du recourant qui succombe (art. 156 al. 1 OJ).
II. Pourvoi en nullité
II. Pourvoi en nullité
4. 4.1 La qualité pour former un pourvoi en nullité au Tribunal fédéral est désormais définie à l'art 270 PPF dans sa teneur en vigueur depuis le 1er janvier 2001.
L'art. 270 let. e PPF ne reconnaît plus, à la différence de l'ancien droit, la qualité pour se pourvoir en nullité à l'ensemble des lésés, mais la limite aux seules victimes au sens de l'<ref-law>. Le recourant ne peut donc se prévaloir de cette disposition (cf. supra, consid. 1.1).
Aux termes de l'art. 270 let. f PPF, le plaignant peut se pourvoir en nullité pour autant qu'il s'agisse du droit de porter plainte. Il en découle que le recourant ne peut se plaindre que d'une violation des <ref-law>. Il ne peut soulever d'autres griefs et contester la décision attaquée sur le fond (<ref-ruling> consid. 4c p. 96). Dans ces conditions, il n'a pas qualité pour se plaindre d'une violation du principe de la libre appréciation des preuves consacrée par l'art. 249 PPF. En revanche, il est fondé à se pourvoir en nullité, dès lors qu'il invoque une violation de l'<ref-law>.
4.2 Le pourvoi n'est pas ouvert pour se plaindre de l'appréciation des preuves et des constatations de fait qui en découlent (<ref-ruling> consid. 2a p. 83). Sous réserve de la rectification d'une inadvertance manifeste, le Tribunal fédéral est lié par les constatations de fait de l'autorité cantonale (art. 277bis al. 1 PPF). Il ne peut être présenté de griefs contre celles-ci, ni de faits ou de moyens de preuve nouveaux (art. 273 al. 1 let. b PPF). Le raisonnement juridique doit être mené sur la base des faits retenus dans la décision attaquée, dont le recourant est irrecevable à s'écarter (<ref-ruling> consid. 1 p. 66 s.).
4.2 Le pourvoi n'est pas ouvert pour se plaindre de l'appréciation des preuves et des constatations de fait qui en découlent (<ref-ruling> consid. 2a p. 83). Sous réserve de la rectification d'une inadvertance manifeste, le Tribunal fédéral est lié par les constatations de fait de l'autorité cantonale (art. 277bis al. 1 PPF). Il ne peut être présenté de griefs contre celles-ci, ni de faits ou de moyens de preuve nouveaux (art. 273 al. 1 let. b PPF). Le raisonnement juridique doit être mené sur la base des faits retenus dans la décision attaquée, dont le recourant est irrecevable à s'écarter (<ref-ruling> consid. 1 p. 66 s.).
5. Se plaignant d'une violation de l'<ref-law>, le recourant soutient avoir suffisamment démontré, par pièces, témoignages et interrogatoires des parties, qu'il avait respecté le délai légal de plainte. Il affirme qu'il appartenait dès lors à l'intimé d'établir que le plaignant avait connaissance de l'acte et de l'auteur plus de trois mois auparavant.
5.1 Le grief invoqué par le recourant revient en réalité à critiquer l'appréciation des preuves faite par la cour cantonale, ce qu'il est irrecevable à faire dans un pourvoi. En effet, celle-ci a apprécié les moyens à sa disposition, écarté la version du recourant et de sa maîtresse relative respectivement à la connaissance et à la transmission des messages litigieux et constaté en fait, de manière à lier l'autorité de céans, que le recourant avait déposé plainte le 1er mai 2001, alors qu'il avait eu connaissance des éléments constitutifs de l'acte délictueux avant le 31 janvier 2001. Elle a ainsi estimé qu'il n'existait pas de doute quant à la date de la connaissance de l'infraction, puisqu'elle l'a expressément fixée dans le temps. Partant, contrairement aux allégations du recourant, la jurisprudence à laquelle il se réfère (cf. <ref-ruling> consid. 3 p. 775) et selon laquelle, en cas de doute, le délai de plainte doit être considéré comme respecté, n'est pas pertinente dans le cas d'espèce. Au surplus, au vu des dates susmentionnées, la cour cantonale n'a pas violé l'<ref-law> en jugeant que la plainte était tardive, puisque celle-ci a été déposée plus de trois mois après la connaissance de l'acte délictueux.
5.1 Le grief invoqué par le recourant revient en réalité à critiquer l'appréciation des preuves faite par la cour cantonale, ce qu'il est irrecevable à faire dans un pourvoi. En effet, celle-ci a apprécié les moyens à sa disposition, écarté la version du recourant et de sa maîtresse relative respectivement à la connaissance et à la transmission des messages litigieux et constaté en fait, de manière à lier l'autorité de céans, que le recourant avait déposé plainte le 1er mai 2001, alors qu'il avait eu connaissance des éléments constitutifs de l'acte délictueux avant le 31 janvier 2001. Elle a ainsi estimé qu'il n'existait pas de doute quant à la date de la connaissance de l'infraction, puisqu'elle l'a expressément fixée dans le temps. Partant, contrairement aux allégations du recourant, la jurisprudence à laquelle il se réfère (cf. <ref-ruling> consid. 3 p. 775) et selon laquelle, en cas de doute, le délai de plainte doit être considéré comme respecté, n'est pas pertinente dans le cas d'espèce. Au surplus, au vu des dates susmentionnées, la cour cantonale n'a pas violé l'<ref-law> en jugeant que la plainte était tardive, puisque celle-ci a été déposée plus de trois mois après la connaissance de l'acte délictueux.
6. Sur le vu de ce qui précède, le pourvoi en nullité est irrecevable. Les frais doivent être mis à la charge du recourant qui succombe (art. 278 al. 1 PPF).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Le pourvoi est irrecevable.
2. Le pourvoi est irrecevable.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
3. Un émolument judiciaire de 4'000 francs est mis à la charge du recourant.
4. Le présent arrêt est communiqué en copie aux mandataires des parties et au Tribunal cantonal du Valais, Cour pénale II.
Lausanne, le 31 mars 2004
Au nom de la Cour de cassation pénale
du Tribunal fédéral suisse
Le président: La greffière: