Faits:
Faits:
A. Le 27 octobre 1999, le Tribunal pénal de la Sarine a reconnu E._ coupable de diffamation; il l'a condamné à la peine de trois mois d'emprisonnement avec un délai d'épreuve de trois ans.
Le 16 mars 2001, le Tribunal cantonal de l'Etat de Fribourg a rejeté le recours formé par E._ contre ce jugement. Par arrêt du 21 décembre 2001, le Tribunal fédéral a admis le recours de droit public formé par E._ contre cet arrêt. Le Tribunal fédéral a constaté que le droit d'être entendu avait été violé, parce que l'accusé n'avait pas eu accès au procès-verbal de l'audience de jugement dans le cadre de la procédure d'appel. Il a annulé l'arrêt du 16 mars 2001 pour ce seul motif, sans examiner les autres griefs soulevés dans le recours (consid. 4).
Le 23 août 2002, le Tribunal cantonal, statuant à nouveau, a annulé le jugement du 27 octobre 1999 et renvoyé la cause pour nouveau jugement au Tribunal pénal de la Sarine. Le 21 novembre 2002, celui-ci a pris acte de la prescription de l'action pénale et rayé la cause du rôle.
Le 23 août 2002, le Tribunal cantonal, statuant à nouveau, a annulé le jugement du 27 octobre 1999 et renvoyé la cause pour nouveau jugement au Tribunal pénal de la Sarine. Le 21 novembre 2002, celui-ci a pris acte de la prescription de l'action pénale et rayé la cause du rôle.
B. Le 30 avril 2003, le Tribunal cantonal a tenu une conférence de presse consacrée à la présentation de son rapport sur l'administration de la justice pour l'année 2002. E._, qui y assistait, a évoqué l'arrêt du Tribunal fédéral du 21 décembre 2001. Le Juge cantonal X._ aurait indiqué à ce propos que « d'après la décision rendue par les juges fribourgeois, les divergences relevées (entre le procès-verbal manuscrit et sa version dactylographiée) n'avaient pas d'incidence sur le jugement ». Le 6 mai 2003, E._ s'est adressé au Juge X._ pour lui demander de retirer cette déclaration qu'il tenait pour attentatoire à son honneur. Le 26 mai 2003, le Juge X._ lui a répondu que les termes contestés correspondaient à un passage de l'arrêt du 16 mars 2001 et qu'il n'avait par conséquent rien à retirer aux propos tenus le 30 avril 2003.
Le 29 juillet 2003, E._ a déposé plainte pénale contre le Juge X._ pour atteinte à l'honneur, faux dans les titres commis dans l'exercice de fonctions publiques et abus d'autorité.
Le 2 avril 2004, le Juge d'instruction spécial de l'Etat de Fribourg a refusé d'ouvrir l'action pénale, faute de prévention.
Le 21 septembre 2004, le Tribunal cantonal, statuant dans la composition des juges suppléants A._, B._ et C._, ainsi que de la greffière D._, a rejeté le recours formé par E._ contre cette décision.
Le 21 septembre 2004, le Tribunal cantonal, statuant dans la composition des juges suppléants A._, B._ et C._, ainsi que de la greffière D._, a rejeté le recours formé par E._ contre cette décision.
C. Agissant par la voie du recours de droit public, E._ demande au Tribunal fédéral d'annuler l'arrêt du 21 septembre 2004. Il invoque les art. 8, 9, 29 et 30 Cst., ainsi que l'art. 6 par. 1 CEDH.
Le Tribunal cantonal a renoncé à se déterminer.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et avec une pleine cognition la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 250, 302 consid. 3 p. 303/304, 306 consid. 1.1 p. 308, et les arrêts cités).
1. Le Tribunal fédéral examine d'office et avec une pleine cognition la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 250, 302 consid. 3 p. 303/304, 306 consid. 1.1 p. 308, et les arrêts cités).
2. Ont qualité pour recourir les particuliers lésés par des décisions qui les concernent personnellement (art. 88 OJ). Selon une jurisprudence constante, le plaignant n'a pas qualité pour agir contre le classement ou l'acquittement, au motif que l'action pénale appartient exclusivement à l'Etat; elle est instituée dans l'intérêt public et ne profite qu'indirectement au lésé. Celui-ci n'est dès lors pas habilité à recourir, au regard de l'art. 88 OJ, contre une décision relative à la conduite de l'action pénale. La loi fédérale sur l'aide aux victimes d'infractions, du 4 octobre 1991 (LAVI; RS 312.5), qui a renforcé la situation procédurale du lésé, (cf. <ref-ruling> consid. 1.1 p. 220; <ref-ruling> consid. 2c p. 161/162), n'est toutefois d'aucun secours pour le recourant qui n'est pas une victime au sens de cette loi (cf. <ref-ruling> consid. 1.2 p. 220/221; <ref-ruling> consid. 3a p. 268). Cela étant, même si le lésé n'a pas qualité pour agir au fond, il lui est possible de dénoncer la violation des droits formels que lui reconnaît le droit cantonal de procédure ou qui découlent directement de la Constitution ou de la CEDH, s'agissant notamment du droit d'être entendu et de participer à l'administration des preuves (<ref-ruling> consid. 1.1 p. 219/220; <ref-ruling> consid. 1a p. 99; <ref-ruling> consid. 1b p. 255). Le lésé ne saurait toutefois remettre en cause par ce biais la décision attaquée sur le fond, en critiquant l'appréciation des preuves ou en faisant valoir que la motivation retenue serait matériellement fausse; l'examen de telles questions ne se laisse en effet pas distinguer du fond (ATF <ref-ruling> consid. 2a p. 159-161, 220 consid. 2a p. 221/222). Le Tribunal fédéral n'examine que sous l'angle de l'arbitraire l'interprétation et l'application du droit cantonal de procédure; il vérifie en revanche avec une cognition pleine si les garanties minimales offertes par la Constitution et la CEDH ont été respectées (<ref-ruling> consid. 3 p. 438; <ref-ruling> consid. 1d p. 79 et les arrêts cités).
2. Ont qualité pour recourir les particuliers lésés par des décisions qui les concernent personnellement (art. 88 OJ). Selon une jurisprudence constante, le plaignant n'a pas qualité pour agir contre le classement ou l'acquittement, au motif que l'action pénale appartient exclusivement à l'Etat; elle est instituée dans l'intérêt public et ne profite qu'indirectement au lésé. Celui-ci n'est dès lors pas habilité à recourir, au regard de l'art. 88 OJ, contre une décision relative à la conduite de l'action pénale. La loi fédérale sur l'aide aux victimes d'infractions, du 4 octobre 1991 (LAVI; RS 312.5), qui a renforcé la situation procédurale du lésé, (cf. <ref-ruling> consid. 1.1 p. 220; <ref-ruling> consid. 2c p. 161/162), n'est toutefois d'aucun secours pour le recourant qui n'est pas une victime au sens de cette loi (cf. <ref-ruling> consid. 1.2 p. 220/221; <ref-ruling> consid. 3a p. 268). Cela étant, même si le lésé n'a pas qualité pour agir au fond, il lui est possible de dénoncer la violation des droits formels que lui reconnaît le droit cantonal de procédure ou qui découlent directement de la Constitution ou de la CEDH, s'agissant notamment du droit d'être entendu et de participer à l'administration des preuves (<ref-ruling> consid. 1.1 p. 219/220; <ref-ruling> consid. 1a p. 99; <ref-ruling> consid. 1b p. 255). Le lésé ne saurait toutefois remettre en cause par ce biais la décision attaquée sur le fond, en critiquant l'appréciation des preuves ou en faisant valoir que la motivation retenue serait matériellement fausse; l'examen de telles questions ne se laisse en effet pas distinguer du fond (ATF <ref-ruling> consid. 2a p. 159-161, 220 consid. 2a p. 221/222). Le Tribunal fédéral n'examine que sous l'angle de l'arbitraire l'interprétation et l'application du droit cantonal de procédure; il vérifie en revanche avec une cognition pleine si les garanties minimales offertes par la Constitution et la CEDH ont été respectées (<ref-ruling> consid. 3 p. 438; <ref-ruling> consid. 1d p. 79 et les arrêts cités).
3. Le recourant soutient que le juge A._ et le greffier H._ auraient dû se récuser.
3.1 Selon les art. 30 al. 1 Cst. et 6 par. 1 CEDH, toute personne a droit à ce que sa cause soit entendue par un tribunal établi par la loi, compétent, indépendant et impartial, c'est-à-dire par des juges qui offrent la garantie d'une appréciation parfaitement objective de la cause (<ref-ruling> consid. 3.3.3 p. 454; <ref-ruling> consid. 4a.1 p. 198; <ref-ruling> consid. 2a p.84, et les arrêts cités). Des circonstances extérieures au procès ne doivent influer sur le jugement d'une manière qui ne serait pas objective, en faveur ou au préjudice d'une partie, car celui qui se trouve sous de telles influences ne peut être un "juste médiateur" (<ref-ruling> consid. 3.3.3 p. 454; <ref-ruling> consid. 2a p. 84; <ref-ruling> consid. 8a p. 217, et les arrêts cités). Cette garantie est assurée en premier lieu par les règles cantonales relatives à la récusation. Mais, indépendamment de ces dispositions cantonales, la Constitution et la Convention assurent à chacun que seuls des juges qui ne font pas d'acception de personnes statuent sur son litige. Si la simple affirmation de la partialité ne suffit pas, mais doit reposer sur des faits objectifs, il n'est pas davantage nécessaire que le juge soit effectivement prévenu; la suspicion est légitime même si elle ne se fonde que sur des apparences, pour autant que celles-ci résultent de circonstances examinées objectivement (<ref-ruling> consid. 3.3.3 p. 454; <ref-ruling> consid. 2a p. 84; <ref-ruling> consid. 3a p. 123/124, et les arrêts cités).
3.2 Le grief tiré de la composition incorrecte de l'autorité ou de la prévention de l'un de ses membres doit être soulevé aussitôt que possible. Celui qui omet de dénoncer immédiatement un tel vice et laisse le procès se dérouler sans intervenir, agit contrairement à la bonne foi et voit se périmer son droit de se plaindre ultérieurement de la violation qu'il allègue (<ref-ruling> consid. 3c p. 253/254; <ref-ruling> consid. 3 p. 229; <ref-ruling> consid. 2c/aa p. 24; <ref-ruling> consid. 3a p. 284, et les arrêts cités). Il n'est pas nécessaire que la composition de l'autorité soit communiquée officiellement aux parties; il suffit que cette information soit accessible au public, par exemple par le truchement d'un répertoire officiel (<ref-ruling> consid. 1c p. 323; <ref-ruling> consid. 3c p. 280).
En l'occurrence, le recourant n'a pas présenté de demande de récusation du juge A._ et du greffier H._ dans la procédure cantonale, alors même qu'il aurait pu connaître la composition possible de la cour appelée à statuer en consultant le site Internet de l'Etat de Fribourg (www.fr.ch/tc). Il est ainsi forclos. A cela s'ajoute, au demeurant, que le 21 juin 2004 (soit trois mois jour pour jour avant le prononcé de l'arrêt attaqué), le Tribunal cantonal a pris le soin d'avertir les parties, dont le recourant, de la composition de la cour appelée à statuer. Le recourant a disposé ainsi du temps nécessaire pour demander la récusation de ses juges, s'il l'estimait nécessaire.
3.3 Supposé recevable, le grief aurait de toute manière dû être rejeté.
3.3.1 Pour ce qui concerne le greffier H._, le moyen est sans objet puisque cette personne n'a pas participé au prononcé de la décision attaquée. Il importe peu à cet égard qu'elle ait accompli certaines tâches dans l'instruction de la cause, comme le suivi des échanges d'écritures ou de correspondance, ou reçu en mains propres les déterminations de l'une des parties.
3.3.2 Pour le recourant, le juge suppléant A._ aurait dû se récuser en application de l'art. 53 let. d LOJ/FR. Aux termes de cette disposition, le juge doit se récuser lui-même s'il est en relation professionnelle suivie avec une partie ou avec une société ou une personne morale dont la partie est directeur, administrateur, contrôleur ou liquidateur.
Dans un premier moyen, le recourant expose que le juge X._ serait l'administrateur de la personne morale que constituerait le Tribunal cantonal. Il ressort cependant du texte clair de l'art. 53 let. d LOJ/FR que cette disposition vise la société ou la personne morale au sens du droit civil. Tel n'est pas le cas, à l'évidence, d'un tribunal cantonal qui est un organe de l'Etat.
Dans un deuxième moyen, le recourant évoque les liens professionnels étroits unissant le juge suppléant A._, avocat de son état, et le juge cantonal X._. Il relève en outre que le Tribunal cantonal est l'autorité de surveillance des avocats. Ces éléments ne sont pas déterminants pour admettre l'existence d'une prévention du juge A._ à l'égard du recourant. A l'instar de tous les magistrats judiciaires, les juges qui exercent leur fonction occasionnellement, en marge de leur activité professionnelle, sont réputés capables d'examiner impartialement les causes qui leur sont soumises, en s'élevant au-dessus des intérêts des parties. Hormis l'affirmation générale que le juge A._ serait dépendant du juge X._ parce que le premier exerce la profession d'avocat et l'autre la fonction de magistrat judiciaire, le recourant n'apporte aucun élément propre à démontrer que le juge A._ n'aurait pas disposé de l'indépendance d'esprit nécessaire pour statuer en toute objectivité sur le litige opposant le juge X._ au recourant.
Dans un deuxième moyen, le recourant évoque les liens professionnels étroits unissant le juge suppléant A._, avocat de son état, et le juge cantonal X._. Il relève en outre que le Tribunal cantonal est l'autorité de surveillance des avocats. Ces éléments ne sont pas déterminants pour admettre l'existence d'une prévention du juge A._ à l'égard du recourant. A l'instar de tous les magistrats judiciaires, les juges qui exercent leur fonction occasionnellement, en marge de leur activité professionnelle, sont réputés capables d'examiner impartialement les causes qui leur sont soumises, en s'élevant au-dessus des intérêts des parties. Hormis l'affirmation générale que le juge A._ serait dépendant du juge X._ parce que le premier exerce la profession d'avocat et l'autre la fonction de magistrat judiciaire, le recourant n'apporte aucun élément propre à démontrer que le juge A._ n'aurait pas disposé de l'indépendance d'esprit nécessaire pour statuer en toute objectivité sur le litige opposant le juge X._ au recourant.
4. Celui-ci prétend que la procédure d'instruction se serait déroulée de manière irrégulière, en violation des garanties offertes par les art. 29 al. 1 et 30 al. 1 Cst.
La procédure d'instruction est régie par les <ref-law>/FR. Contrairement à ce que semble croire le recourant, ces dispositions s'appliquaient à la plainte déposée contre le Juge X._. Comme personne dénoncée, celui-ci devait être considéré comme un prévenu au sens de la loi (<ref-law>/FR). Il était dès lors partie à la procédure devant le juge d'instruction (<ref-law>/FR). Partant, il disposait du droit de prendre position sur la plainte avant que le juge d'instruction ne statue. C'est au demeurant ce qui s'est passé: répondant à l'invitation du juge d'instruction, le Juge X._ s'est déterminé sur la plainte et le sort à lui réserver, le 11 décembre 2003. Le recourant critique le fait qu'il n'ait pas eu l'occasion de répliquer. La loi n'impose pas un deuxième échange d'écritures, qui n'est nécessaire que lorsque l'autorité entend fonder sa décision sur un élément qui n'a pas été porté à la connaissance de toutes les parties et sur lequel celles-ci n'auraient pas pu se déterminer (<ref-ruling> consid. 2.2 p. 505). Or, tel n'était pas le cas en l'espèce. Sur le vu de la plainte et de la réponse du 11 décembre 2003, le juge d'instruction disposait de tous les éléments nécessaires pour statuer. Il pouvait tenir sans arbitraire une réplique pour superflue.
La procédure d'instruction est régie par les <ref-law>/FR. Contrairement à ce que semble croire le recourant, ces dispositions s'appliquaient à la plainte déposée contre le Juge X._. Comme personne dénoncée, celui-ci devait être considéré comme un prévenu au sens de la loi (<ref-law>/FR). Il était dès lors partie à la procédure devant le juge d'instruction (<ref-law>/FR). Partant, il disposait du droit de prendre position sur la plainte avant que le juge d'instruction ne statue. C'est au demeurant ce qui s'est passé: répondant à l'invitation du juge d'instruction, le Juge X._ s'est déterminé sur la plainte et le sort à lui réserver, le 11 décembre 2003. Le recourant critique le fait qu'il n'ait pas eu l'occasion de répliquer. La loi n'impose pas un deuxième échange d'écritures, qui n'est nécessaire que lorsque l'autorité entend fonder sa décision sur un élément qui n'a pas été porté à la connaissance de toutes les parties et sur lequel celles-ci n'auraient pas pu se déterminer (<ref-ruling> consid. 2.2 p. 505). Or, tel n'était pas le cas en l'espèce. Sur le vu de la plainte et de la réponse du 11 décembre 2003, le juge d'instruction disposait de tous les éléments nécessaires pour statuer. Il pouvait tenir sans arbitraire une réplique pour superflue.
5. Le recourant reproche au Tribunal cantonal d'avoir communiqué au Juge X._ une copie du recours cantonal. Il y voit une violation de l'<ref-law>/FR, aux termes duquel l'instruction reste en principe secrète.
Le Tribunal cantonal était tenu d'entendre la partie adverse avant de trancher le recours cantonal, à peine de violer le droit d'être entendu, garanti par la Constitution (art. 29 al. 2 Cst.) et la loi (cf. art. 4 al. 1 let. d et 42 CPP/FR). Partant, contrairement à ce que soutient le recourant qui se prévaut de l'<ref-law>/FR, la réponse du Juge X._ ne peut être considérée comme nulle.
Le Tribunal cantonal était tenu d'entendre la partie adverse avant de trancher le recours cantonal, à peine de violer le droit d'être entendu, garanti par la Constitution (art. 29 al. 2 Cst.) et la loi (cf. art. 4 al. 1 let. d et 42 CPP/FR). Partant, contrairement à ce que soutient le recourant qui se prévaut de l'<ref-law>/FR, la réponse du Juge X._ ne peut être considérée comme nulle.
6. Sous l'angle de la bonne foi, le recourant fait valoir que l'arrêt attaqué ne mentionne pas la réponse au recours cantonal faite par le Juge X._ le 3 juin 2004. Il s'agit là toutefois d'une omission sans conséquence pour l'issue de la cause.
6. Sous l'angle de la bonne foi, le recourant fait valoir que l'arrêt attaqué ne mentionne pas la réponse au recours cantonal faite par le Juge X._ le 3 juin 2004. Il s'agit là toutefois d'une omission sans conséquence pour l'issue de la cause.
7. Le recourant invoque le droit de recevoir une décision motivée ainsi que la prohibition de l'arbitraire dans la constatation des faits. Tels qu'ils sont formulés, ces griefs reviennent à critiquer la décision attaquée au fond, ce que le recourant n'est pas recevable à faire (consid. 2). Il n'y a partant pas lieu de s'y arrêter.
7. Le recourant invoque le droit de recevoir une décision motivée ainsi que la prohibition de l'arbitraire dans la constatation des faits. Tels qu'ils sont formulés, ces griefs reviennent à critiquer la décision attaquée au fond, ce que le recourant n'est pas recevable à faire (consid. 2). Il n'y a partant pas lieu de s'y arrêter.
8. Aux termes de l'<ref-law>/FR, les décisions comprennent notamment la désignation des destinataires et de leur qualité dans la procédure (let. c), ainsi que l'indication des voies de droit ordinaires (let. d).
Le Juge X._ est mentionné parmi les parties auxquelles la décision attaquée a été notifiée, selon la mention portée en dessous du dispositif (p. 7 en bas). Il est exact que sa qualité dans la procédure n'est pas indiquée; mais tel n'est pas davantage le cas du recourant, du Ministère public et du juge d'instruction. Ce manquement mineur est également sans portée pour l'issue de la cause. Pour le surplus, le Tribunal cantonal n'était pas tenu d'indiquer la voie du recours de droit public, qui est un moyen de droit extraordinaire.
Le Juge X._ est mentionné parmi les parties auxquelles la décision attaquée a été notifiée, selon la mention portée en dessous du dispositif (p. 7 en bas). Il est exact que sa qualité dans la procédure n'est pas indiquée; mais tel n'est pas davantage le cas du recourant, du Ministère public et du juge d'instruction. Ce manquement mineur est également sans portée pour l'issue de la cause. Pour le surplus, le Tribunal cantonal n'était pas tenu d'indiquer la voie du recours de droit public, qui est un moyen de droit extraordinaire.
9. Le recours est irrecevable et au surplus mal fondé. Les frais sont mis à la charge de son auteur (art. 156 OJ). Il n'y a pas lieu d'allouer des dépens (art. 159 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument de 2'000 fr. est mis à la charge du recourant.
2. Un émolument de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au recourant et à la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 22 décembre 2004
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: