Faits: A. Le 29 juillet 2003, X._ a déposé plainte contre le juge cantonal Y._ pour atteinte à l'honneur, faux dans les titres commis dans l'exercice des fonctions publiques et abus d'autorité. Il reproche au magistrat d'avoir tenu des propos infondés sur une affaire le concernant lors de la présentation du rapport du Tribunal cantonal sur l'administration de la justice pour l'année 2002. B. Le Journal Z._, dont X._ est directeur et rédacteur, a publié en novembre 2003 un article, accusant Y._ d'avoir publiquement répandu des propos infondés et d'avoir porté atteinte à l'honneur de X._. En réaction, Y._ a porté plainte le 27 février 2004 contre X._ pour atteinte à l'honneur et pour dénonciation calomnieuse. C. Suite à la récusation spontanée des juges d'instruction, le Tribunal cantonal de l'Etat de Fribourg a désigné un juge à la Cour de Justice de la République et canton de Genève, en qualité de juge d'instruction spécial, pour instruire les deux plaintes. Par ordonnance du 2 avril 2004, ce juge a refusé d'instruire la plainte déposée par X._. Sur recours de ce dernier, en raison de la récusation spontanée des juges ordinaires du Tribunal cantonal, ce sont les juges suppléants A._, B._ et C._ qui ont siégé et confirmé, le 21 septembre 2004, l'ordonnance querellée. Le Tribunal fédéral a rejeté le recours de X._ contre cet arrêt, dans la mesure où il était recevable. Il a en particulier rejeté la demande de X._ de récusation qui visait le seul juge A._ et son greffier (arrêt 1P.627/2004 du 22 décembre 2004). Par ordonnance du 14 décembre 2005, le juge d'instruction spécial a clos par un non-lieu l'instruction pénale ouverte suite au dépôt de la plainte de Y._. Ce dernier a recouru contre cette décision auprès du Tribunal cantonal. Dans ses déterminations sur le recours, X._ a demandé la récusation de tous les membres du Tribunal cantonal. Les juges ordinaires s'étant à nouveau spontanément récusés, une Chambre pénale ad hoc a été constituée, composée des juges suppléants D._, B._ et C._. Par arrêt du 30 mars 2006, le Tribunal cantonal a rejeté la requête de récusation formée par X._ et admis le recours de Y._. Il a en conséquence annulé l'ordonnance de non-lieu et renvoyé X._ devant le juge de police pour y répondre des chefs de prévention de diffamation, calomnie et dénonciation calomnieuse. D. Agissant par la voie du recours de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt du 30 mars 2006. En relation avec le rejet de sa demande de récusation, il se plaint d'une violation des art. 30 Cst. et 6 CEDH, ainsi que d'une application arbitraire de l'art. 53 LOJ/FR. Il reproche également à l'autorité cantonale d'avoir violé son droit d'être entendu en le renvoyant directement devant le juge de police. Il invoque sur ce point les art. 29 al. 2 Cst et 6 par. 2 et 3 CEDH. Y._ a formulé des observations, alors que le Ministère public et la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg ont renoncé à se déterminer. Par ordonnance du 31 mai 2006, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif formée par le recourant.