Faits:
A. Le 29 juillet 2003, X._ a déposé plainte contre le juge cantonal Y._ pour atteinte à l'honneur, faux dans les titres commis dans l'exercice des fonctions publiques et abus d'autorité. Il reproche au magistrat d'avoir tenu des propos infondés sur une affaire le concernant lors de la présentation du rapport du Tribunal cantonal sur l'administration de la justice pour l'année 2002.
B. Le Journal Z._, dont X._ est directeur et rédacteur, a publié en novembre 2003 un article, accusant Y._ d'avoir publiquement répandu des propos infondés et d'avoir porté atteinte à l'honneur de X._.
En réaction, Y._ a porté plainte le 27 février 2004 contre X._ pour atteinte à l'honneur et pour dénonciation calomnieuse.
C. Suite à la récusation spontanée des juges d'instruction, le Tribunal cantonal de l'Etat de Fribourg a désigné un juge à la Cour de Justice de la République et canton de Genève, en qualité de juge d'instruction spécial, pour instruire les deux plaintes.
Par ordonnance du 2 avril 2004, ce juge a refusé d'instruire la plainte déposée par X._. Sur recours de ce dernier, en raison de la récusation spontanée des juges ordinaires du Tribunal cantonal, ce sont les juges suppléants A._, B._ et C._ qui ont siégé et confirmé, le 21 septembre 2004, l'ordonnance querellée. Le Tribunal fédéral a rejeté le recours de X._ contre cet arrêt, dans la mesure où il était recevable. Il a en particulier rejeté la demande de X._ de récusation qui visait le seul juge A._ et son greffier (arrêt 1P.627/2004 du 22 décembre 2004).
Par ordonnance du 14 décembre 2005, le juge d'instruction spécial a clos par un non-lieu l'instruction pénale ouverte suite au dépôt de la plainte de Y._. Ce dernier a recouru contre cette décision auprès du Tribunal cantonal. Dans ses déterminations sur le recours, X._ a demandé la récusation de tous les membres du Tribunal cantonal. Les juges ordinaires s'étant à nouveau spontanément récusés, une Chambre pénale ad hoc a été constituée, composée des juges suppléants D._, B._ et C._. Par arrêt du 30 mars 2006, le Tribunal cantonal a rejeté la requête de récusation formée par X._ et admis le recours de Y._. Il a en conséquence annulé l'ordonnance de non-lieu et renvoyé X._ devant le juge de police pour y répondre des chefs de prévention de diffamation, calomnie et dénonciation calomnieuse.
D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du 30 mars 2006. En relation avec le rejet de sa demande de récusation, il se plaint d'une violation des art. 30 Cst. et 6 CEDH, ainsi que d'une application arbitraire de l'art. 53 LOJ/FR. Il reproche également à l'autorité cantonale d'avoir violé son droit d'être entendu en le renvoyant directement devant le juge de police. Il invoque sur ce point les art. 29 al. 2 Cst et 6 par. 2 et 3 CEDH.
Y._ a formulé des observations, alors que le Ministère public et la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg ont renoncé à se déterminer.
Par ordonnance du 31 mai 2006, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif formée par le recourant.

Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 156).
1.1 Au vu des arguments invoqués, seul le recours de droit public pour violation des droits constitutionnels au sens de l'art. 84 al. 1 let. a OJ est ouvert. En vertu de l'art. 86 al. 1 OJ, un tel recours n'est en principe recevable qu'à l'encontre des décisions finales prises en dernière instance cantonale. Selon l'art. 87 OJ, il l'est contre les décisions préjudicielles et incidentes sur la compétence et sur les demandes de récusation, prises séparément. Ces décisions ne peuvent être attaquées ultérieurement (al. 1). Le recours de droit public est recevable contre d'autres décisions préjudicielles et incidentes prises séparément s'il peut en résulter un préjudice irréparable (al. 2); lorsque le recours de droit public n'est pas recevable selon l'alinéa 2 ou qu'il n'a pas été utilisé, les décisions préjudicielles et incidentes peuvent être attaquées avec la décision finale (al. 3).
1.2 Le recourant conteste à la fois le rejet de sa demande de récusation et son renvoi devant le juge de police. Les ordonnances de renvoi devant l'autorité pénale de jugement sont de nature incidente (<ref-ruling> consid. 2a p. 313). L'ordonnance de renvoi n'est pas de nature à exposer le recourant à un dommage irréparable, dès lors que son acquittement mettrait fin à la procédure dirigée contre lui (<ref-ruling> consid. 2b p. 315). Il en résulte que les griefs du recourant, en tant qu'ils sont dirigés contre son renvoi en jugement, sont irrecevables. En revanche, il convient d'entrer en matière s'agissant du rejet de la demande de récusation.
2. Le recourant dénonce d'une part l'incompétence de la Chambre pénale pour statuer sur sa requête de récusation de tous les membres du Tribunal cantonal de l'Etat de Fribourg. Il estime que sa requête n'est ni abusive ni mal fondée. Il explique en particulier qu'il n'est pas soutenable que, les juges d'instruction ayant été considérés comme récusables en vertu de l'art. 53 let. d LOJ/FR, il n'en aille pas de même pour les juges du Tribunal cantonal. Il soutient que sa requête aurait dû être instruite et tranchée par un tribunal impartial ne comportant pas de magistrats en relations professionnelles avec l'intimé. Il invoque sur ce point les art. 30 Cst. et 6 CEDH.
Le recourant conteste d'autre part le rejet de sa demande de récusation. Il fait valoir que ce sont des collègues de l'intimé qui ont rendu l'arrêt attaqué. Il ajoute qu'il a déposé deux plaintes pénales contre le juge D._ en 2001. Selon lui, les juges auraient donc dû faire l'objet d'une récusation obligatoire au sens de l'article 53 LOJ/FR. Le rejet de sa demande de récusation violerait au surplus les art. 30 Cst. et 6 CEDH.
Le recourant conteste d'autre part le rejet de sa demande de récusation. Il fait valoir que ce sont des collègues de l'intimé qui ont rendu l'arrêt attaqué. Il ajoute qu'il a déposé deux plaintes pénales contre le juge D._ en 2001. Selon lui, les juges auraient donc dû faire l'objet d'une récusation obligatoire au sens de l'article 53 LOJ/FR. Le rejet de sa demande de récusation violerait au surplus les art. 30 Cst. et 6 CEDH.
2.1 2.1.1 La garantie d'un tribunal indépendant et impartial instituée à l'art. 30 al. 1 Cst. permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître un doute sur son impartialité. Elle tend notamment à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du juge est établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.4 p. 116; <ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 3.3.3 p. 454). L'art. 6 par. 1 CEDH n'accorde pas une protection plus étendue que celle offerte par la Constitution fédérale (<ref-ruling> consid. 1.1 p. 25; <ref-ruling> consid. 2a p. 236). La récusation doit demeurer l'exception (<ref-ruling> consid. 4 p. 19), en particulier en cas de récusation en corps d'un tribunal, qui a pour effet de soustraire la cause au juge primitivement prévu par la loi. Un risque de prévention ne doit dès lors pas être admis trop facilement, sous peine de compromettre le fonctionnement normal des tribunaux, mais doit se justifier par des motifs particulièrement importants (<ref-ruling> consid. 3b p. 477).
2.1.2 Pour être à même de trancher un différend avec impartialité, un juge ne doit pas se trouver dans la sphère d'influence des parties. Un rapport de dépendance, voire des liens particuliers entre le juge et une personne intéressée à l'issue de la procédure, telle qu'une partie ou son mandataire, peuvent, selon leur nature et leur intensité, fonder un soupçon de partialité, sans qu'il soit nécessaire de montrer que le juge est effectivement prévenu. Pour entraîner la récusation, le rapport d'obligation ou de dépendance que le juge entretient avec l'une des parties ou toute personne intéressée à la procédure doit être étroit et de nature à compromettre sa liberté de jugement. De simples liens de collégialité entre les membres du tribunal ou d'une de ses sections ne constituent pas des rapports d'amitié étroite justifiant une récusation du seul fait qu'un juge est partie au procès, à moins que d'autres circonstances particulières, telles que l'intérêt personnel que ses collègues pourraient avoir à l'issue du procès ne le commandent (cf. arrêts 1P.190/1999 consid. 2b/bb du 28 mai 1999; 4C.118/1998 consid. 2 du 21 décembre 1999; 1P.553/2001 du 12 novembre 2001 consid. 2b; 1P.396/2001 du 13 juillet 2001 consid. 3c; Jean-François Poudret, Commentaire de la loi fédérale d'organisation judiciaire, n. 4.3 ad art. 23, p. 122 et les références citées; <ref-ruling> consid. 1d p. 304). Le Tribunal fédéral a également jugé, s'agissant d'un juge qui avait siégé plusieurs années auparavant avec le plaignant, magistrat de son état, qu'à eux seuls, les liens ou affinités existant entre un juge et d'autres personnes exerçant la même profession, ou affiliées au même parti politique, ou actives dans la même institution publique ou privée, impliquées dans la cause, ne suffisaient pas à justifier la suspicion de partialité; la personne élue ou nommée à une fonction judiciaire est censée capable de prendre le recul par rapport à de tels liens ou affinités et de se prononcer de manière objective sur le litige qui divise les parties (arrêt 1P.3/2006 du 19 janvier 2006 consid. 3).
2.1.3 Le Tribunal fédéral contrôle sous l'angle de l'arbitraire la manière dont le droit cantonal a été interprété et appliqué; il examine en revanche librement si l'application non arbitraire des normes cantonales de procédure est conforme aux art. 30 Cst. et 6 par. 1 CEDH (<ref-ruling> consid. 3.2 p. 115).
3. En l'espèce, les juges ordinaires du Tribunal cantonal se sont spontanément récusés (cf. p. 36 à 38 du dossier cantonal), de sorte que ne demeure litigieuse que la récusation des juges suppléants du Tribunal cantonal.
3.1 Le recourant semble invoquer une application arbitraire de l'art. 53 let. d LOJ/FR qui prévoit qu'un magistrat ou un collaborateur de l'ordre judiciaire ne peut prendre part à l'instruction ou au jugement d'une affaire ou à une nomination et doit se récuser lui-même s'il est en relations professionnelles suivies avec une partie ou avec une société ou une personne morale dont la partie est directeur, administrateur, contrôleur ou liquidateur. Il fait valoir que le Tribunal cantonal ne pouvait pas estimer que les juges d'instruction étaient récusables en application de l'art. 53 let. d LOJ/FR en raison de leurs relations professionnelles avec le magistrat intimé, mais le nier s'agissant des juges du Tribunal cantonal.
Il ressort cependant de la décision du 15 mars 2004 que le Tribunal cantonal s'est contenté de prendre acte de la récusation des juges d'instruction, sans en examiner le bien-fondé. Au demeurant, comme on l'a vu (cf. consid. 3), les juges ordinaires du Tribunal cantonal se sont également spontanément récusés. Les situations ne sont pas comparables, puisque dans le cas des juges d'instruction, il n'était pas possible de recourir à des juges suppléants, l'Office des juges d'instruction n'en disposant pas, alors que cette possibilité était donnée, et a été exploitée, s'agissant du Tribunal cantonal. La décision attaquée ne saurait dès lors, pour ce seul motif, être considérée comme arbitraire. Pour le surplus, le recourant se contente de soutenir que les juges suppléants doivent être récusés en raison de leurs liens de collégialité avec l'intimé (et de procédures pénales s'agissant de l'un d'entre eux), sans expliquer en quoi l'autorité cantonale aurait arbitrairement retenu que les conditions de l'art. 53 let. d LOJ/FR n'étaient pas réalisées. Par conséquent, les motifs de récusation doivent être examinés à la lumière des seules garanties constitutionnelle et conventionnelle.
3.2 Le Tribunal fédéral a déjà eu l'occasion de se prononcer sur l'art. 53 let. d LOJ/FR (arrêt 1P.627/2004 du 22 décembre 2004). Cet arrêt a été rendu dans une cause concernant le recourant, plus précisément dans le cadre de la procédure liée au refus d'instruire sa plainte (cf. consid. C). Ce dernier soutenait qu'en tant qu'avocat, le président suppléant, auteur de l'arrêt attaqué, était en relations professionnelles avec le Tribunal cantonal. Le Tribunal fédéral avait cependant jugé que les liens professionnels étroits unissant l'avocat, juge suppléant, et le juge cantonal, intimé à la présente cause, n'étaient pas déterminants pour admettre l'existence d'une prévention. Il avait relevé qu'à l'instar de tous les magistrats judiciaires, les juges qui exercent leur fonction occasionnellement, en marge de leur activité professionnelle, sont réputés capables d'examiner impartialement les causes qui leur sont soumises, en s'élevant au-dessus des intérêts des parties. Des circonstances supplémentaires seraient nécessaires pour admettre une prévention.
A plus forte raison, de simples liens de collégialité entre les juges suppléants et les juges ordinaires ne sauraient donc être suffisants pour faire douter de l'impartialité des premiers. Des circonstances particulières doivent au contraire être invoquées (cf. consid. 2.1.2). Or en l'espèce, hormis l'allégation selon laquelle les juges suppléants C._ et B._ auraient été amenés à siéger plusieurs fois aux côtés du magistrat intimé, le recourant ne fait valoir aucun élément additionnel de nature à mettre en doute leur impartialité. S'agissant du juge D._, le recourant explique certes qu'il a, en 2001, été amené à déposer deux plaintes pénales contre lui. Si le dépôt de la plainte pénale constitue un indice d'animosité du plaignant à l'égard du magistrat accusé, cela ne permet pas de soupçonner objectivement une intention malveillante de ce dernier. Ayant été élu ou nommé à une fonction judiciaire, le magistrat est censé capable de prendre le recul nécessaire par rapport aux reproches qu'une partie élève, le cas échéant, contre lui, et de se prononcer de façon impartiale sur la contestation dont il est saisi. Si le dépôt d'une plainte pénale devait systématiquement entraîner la récusation du magistrat contre lequel elle est dirigée, le plaideur pourrait ainsi facilement éluder les règles concernant la composition des tribunaux. Une accusation grave et, surtout, sérieuse, pourrait toutefois éventuellement autoriser le plaignant à soupçonner le juge de partialité (arrêts 1P.401/2002 du 14 août 2002; 1P.257/1999 du 12 juillet 1999 consid. 4b). En l'espèce, cette hypothèse ne semble toutefois pas être réalisée et le recourant n'en fait de toute façon pas la démonstration.
Par conséquent, le recourant n'ayant fait valoir, en marge des simples liens de collégialité existant entre les juges suppléants et le magistrat intimé, aucune circonstance additionnelle susceptible de faire douter de leur impartialité, ses griefs doivent être rejetés.
4. Le Tribunal dont la récusation est demandée en bloc peut déclarer lui-même la requête de récusation irrecevable lorsque celle-ci est abusive ou manifestement mal fondée, alors même que cette décision incomberait, selon la loi de procédure applicable, à une autre autorité (<ref-ruling> consid. 4.2.2 p. 464 et les arrêts cités).
En l'espèce, l'art. 57 al. 1 let. h LOJ/FR prévoit que dans le cas de la récusation de la majorité du Tribunal cantonal, y compris les juges suppléants, un tribunal spécial composé de cinq présidents de tribunaux d'arrondissement désignés par le sort statue sur la récusation.
Il découle toutefois des considérants qui précèdent que la Chambre pénale du Tribunal cantonal était légitimée à rejeter elle-même la requête de récusation, cette dernière étant manifestement mal fondée. A cela s'ajoute le fait que la démarche du recourant pouvait même probablement apparaître abusive. Dans son recours au Tribunal fédéral dans le cadre de la contestation du refus d'instruire sa plainte pénale, le recourant s'était contenté de demander la récusation du président suppléant et avocat, au motif de ses relations professionnelles avec l'intimé (cf. consid. 3.2). Il n'avait en revanche élevé aucun reproche à l'égard des juges suppléants B._ et C._, qui avaient également siégé à cette occasion. Or, les juges d'instruction s'étaient également tous précédemment récusés dans cette cause, ce dont le recourant avait connaissance. Si une apparence de prévention, même subjective, existait réellement, le recourant n'aurait alors pas manqué d'élever un motif de récusation à l'encontre des autres juges suppléants. Il a cependant laissé procéder. La présente requête de récusation pouvait donc, en plus d'être manifestement mal fondée, apparaître comme dilatoire. Le grief tiré de l'incompétence de la Chambre pénale pour se prononcer sur la requête de récusation doit donc également être rejeté.
5. Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter l'émolument judiciaire (art. 153, 153a et 156 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit public est rejeté dans la mesure où il est recevable.
2. Un émolument de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'intimé, ainsi qu'au Ministère public et à la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 17 juillet 2006
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: