Faits:
A. Dans le cadre d'une instruction pénale ouverte le 17 juin 2002 contre C._ pour de prétendus actes d'ordre sexuel commis sur D._, né le 6 mai 1998, le Juge d'instruction pénale en charge du dossier a rejeté, en date du 3 décembre 2002, une requête des époux F._ tendant à la récusation de l'experte mandatée pour procéder à l'expertise de crédibilité de leur fils. Par décision du 14 janvier 2003, la Chambre pénale du Tribunal cantonal valaisan (ci-après: la Chambre pénale) a rejeté le recours formé contre cette décision. Le 22 janvier 2003, D._, agissant par ses parents, a déposé un pourvoi en nullité et un recours de droit public contre cette décision auprès du Tribunal fédéral. Le conseil de D._, Me G._, s'est adressé le 25 avril 2003 au Tribunal fédéral afin d'obtenir la notification des motifs du jugement de manière à ce que l'enfant puisse être entendu rapidement par un spécialiste. Le conseil de C._, Me A._, a écrit le 14 mai 2003 au Président de la cour de cassation pénale du Tribunal fédéral pour lui faire part de l'absence de crédit qu'il accordait à cette écriture. Il précisait notamment ce qui suit: "Cela dit, la question posée est aujourd'hui encore différente: le Tribunal fédéral peut-il admettre que l'une des parties, représentée par l'avocat signataire de la lettre du 25 avril 2003, soit à ce point incohérente dans ses requêtes et à ce point sans foi ni loi?".
Considérant que cette dernière expression constituait une grave atteinte à l'honneur, les époux F._ et G._ ont déposé, le 5 juin 2003, une plainte pénale contre A._. Par décision du 11 septembre 2003, le Juge d'instruction pénale B._ a ouvert une instruction pénale contre A._ pour calomnie, subsidiairement pour diffamation. Le même jour, il l'a cité à comparaître comme prévenu à son audience du 8 octobre 2003. Le 16 septembre 2003, le conseil de A._ a sollicité le report de l'audience et l'ouverture d'une enquête préliminaire à confier à la police de sûreté valaisanne, comportant entre autres mesures d'instruction l'audition en qualité de témoin du Juge d'instruction H._, qui avait instruit dans un premier temps la procédure pénale dirigée contre C._. Le 18 septembre 2003, le Juge d'instruction B._ a reporté l'audition du prévenu au 5 novembre 2003, estimant au surplus inutile de procéder à une enquête préliminaire. A._ a été entendu à cette date; il a alors confirmé la teneur de sa lettre du 25 avril 2003. Le 3 décembre 2004, puis le 25 octobre 2005, il a conclu au prononcé d'un non-lieu en se référant notamment à une décision prise la veille par la Chambre pénale dans une cause pénale pour injure opposant son épouse à l'avocat de la partie adverse.
Par ordonnance du 17 janvier 2006, le Juge d'instruction a inculpé A._ de calomnie, subsidiairement de diffamation, et fixé aux parties un délai de vingt jours pour requérir un complément d'instruction et, le cas échéant, pour déposer les questionnaires et les pièces en leur possession, sous peine de déchéance.
Le 25 janvier 2006, A._ a déposé plainte contre cette décision auprès de la Chambre pénale. Le 26 janvier 2006, il a sollicité une prolongation de délai. Par pli séparé du même jour, il a requis la récusation du Juge d'instruction B._. Cette mesure s'imposait, d'une part, par l'audition requise de ce magistrat et du juge d'instruction H._ en qualité de témoins et, d'autre part, par les liens étroits d'amitié que son ex-épouse, avec laquelle il était en conflit, entretenait avec l'épouse du juge B._. Ce dernier a refusé de se récuser, estimant son audition inutile; il a transmis la demande au Président du Tribunal cantonal valaisan (ci-après: le Président du Tribunal cantonal) le 1er février 2006. Le 3 février 2006, A._ a vu un motif de prévention supplémentaire du juge d'instruction à son égard dans le fait que celui-ci aurait préjugé sur l'admissibilité d'une preuve.
Au terme d'une décision prise le 22 mars 2006, le Président du Tribunal cantonal a déclaré la requête irrecevable pour cause de tardiveté, parce que les motifs de récusation invoqués étaient connus du requérant bien avant l'ordonnance d'inculpation. Statuant par surabondance au fond, il a estimé qu'elle aurait dû être rejetée.
B. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler cette décision et de renvoyer le dossier au Président du Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il invoque une violation des art. 34 let. c du Code de procédure pénale valaisan (CPP val.), 30 al. 1 Cst. et 6 § 1 CEDH.
Le Président du Tribunal cantonal se réfère aux considérants de sa décision. Le Juge d'instruction intimé a présenté des observations.
C. Par ordonnance du 27 avril 2006, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif déposée par le recourant.

Le Tribunal fédéral considère en droit:
1. Seule la voie du recours de droit public pour violation des droits constitutionnels des citoyens au sens de l'art. 84 al. 1 let. a OJ est ouverte pour contester une décision sur récusation (<ref-ruling> consid. 2.2 p. 89/90). Le recours est recevable, indépendamment de l'existence d'un préjudice irréparable (art. 87 al. 1 OJ). Vu la nature cassatoire du recours de droit public, les conclusions qui vont au-delà de l'annulation de la décision attaquée sont irrecevables (<ref-ruling> consid. 1.3 p. 169; <ref-ruling> consid. 1.5 p. 176).
2. Le Président du Tribunal cantonal a écarté la demande de récusation dont le recourant l'avait saisi parce qu'elle était tardive, faute d'avoir été présentée dans les dix jours à compter de la connaissance des motifs de récusation conformément à l'<ref-law> val.; par surabondance, il l'a rejetée sur le fond comme mal fondée. La décision attaquée repose ainsi sur une double motivation qu'il appartenait au recourant de contester dans les formes requises à l'art. 90 al. 1 let. b OJ, à peine d'irrecevabilité (<ref-ruling> consid. 5a p. 10; <ref-ruling> consid. 1b p. 95).
2.1 A teneur de l'<ref-law> val., la partie qui entend user du droit de récusation doit, dans les dix jours dès que le cas de récusation s'est produit ou qu'elle en a eu connaissance, adresser sa demande par écrit au juge visé en indiquant les motifs ou en rendant plausibles les faits allégués.
Suivant la décision attaquée, la demande de récusation a été tenue pour tardive et, partant, irrecevable parce que A._ savait dès l'ouverture de l'instruction, le 11 septembre 2003, que le Juge d'instruction B._ était en charge du dossier; il disposait alors d'un délai de dix jours selon l'<ref-law> val. pour lui demander de se récuser soit en raison des relations d'amitié étroites et, par conséquent, supposant une certaine durée, entre l'épouse de ce magistrat et son ex-épouse, soit s'il estimait que le témoignage du juge d'instruction H._, seul formellement requis, et celui de B._ seraient nécessaires. En s'abstenant d'une telle démarche pendant plus de deux ans, il aurait démontré qu'il n'éprouvait aucun doute envers l'impartialité du juge d'instruction. Il savait en outre au plus tard à réception de la décision de la Chambre pénale du 20 décembre 2005 que le Juge d'instruction B._ avait été déchargé uniquement de l'audition de son collègue H._, voire d'une confrontation de ce dernier avec Me G._ dans le cadre de l'instruction ouverte contre ce dernier.
2.2 Le recourant ne conteste pas que la demande de récusation puisse être déclarée irrecevable pour cause de tardiveté (cf. <ref-ruling> consid. 2b p. 85; <ref-ruling> consid. 3c p. 253). Il nie cependant que tel soit le cas s'agissant des motifs de récusation allégués. Il prétend avoir ignoré avant l'ordonnance d'inculpation les relations d'amitié entre sa première épouse et B._. Celles-ci ne dateraient pas du temps de leur mariage et auraient été portées à sa connaissance par ses propres enfants qui ont fait référence à des invitations échangées. Il serait ainsi hors de toute vérité de soutenir, sans même avoir pris la peine de le vérifier, que la requête de récusation aurait dû être formée en un temps où il n'avait pas même connaissance desdits liens d'amitié. Rien dans le dossier ne permettait d'ailleurs au Président du Tribunal cantonal d'admettre qu'il connaissait leur existence avant l'ordonnance d'inculpation.
Le Juge d'instruction B._ a indiqué, dans ses déterminations du 1er février 2006 sur la demande de récusation, que le recourant lui avait fait part des liens d'amitié unissant leur conjoint, respectivement ex-conjoint, il y a deux ans environ lors d'un entretien téléphonique. Le recourant n'a pas contesté la véracité de ces allégations dans son écriture du 3 février 2006, se bornant à préciser qu'il n'avait, jusqu'à son inculpation, aucun motif personnel de les invoquer. Le Président du Tribunal cantonal n'a donc pas fait preuve d'arbitraire ni violé le droit d'être entendu du recourant en retenant, sur la base de ces éléments non contestés qui ressortent du dossier, que A._ connaissait l'existence de ces liens bien avant son inculpation et que l'invocation de ce motif de récusation était ainsi tardive.
2.3 Le recourant prétend en outre que jusqu'à son inculpation, il pouvait légitimement penser qu'il bénéficierait d'un non-lieu comme cela avait été le cas dans une affaire pénale pour injure opposant son épouse à l'avocat de la partie adverse, de sorte qu'il n'avait pas à s'interroger sur la nécessité de faire entendre en qualité de témoins deux magistrats qui connaissent parfaitement le dossier.
Le recourant n'ignorait pas qu'une instruction pénale avait été ouverte contre lui et que sa conduite avait été confiée au Juge d'instruction pénale B._. La bonne foi lui commandait de faire valoir dans le délai de dix jours de l'<ref-law> val. tous les motifs de récusation qu'il pouvait avoir d'entrée de cause contre lui. On ne voit pas en quoi il était arbitraire ou excessivement formaliste d'exiger qu'il requiert d'emblée la récusation de B._, parce que le témoignage de ce magistrat ou celui d'un collègue pourrait se révéler nécessaire suivant l'issue de la procédure, et qu'il n'attende pas une éventuelle décision d'inculpation pour agir en ce sens. Le recourant avait d'ailleurs demandé que le Juge d'instruction H._ soit entendu dans le cadre d'une enquête préliminaire et le magistrat intimé avait refusé de donner suite à cette requête sans que le recourant ne s'en plaigne ou n'en voit un motif de prévention à son égard. Peu importe en définitive car le Président du Tribunal cantonal a estimé, dans une motivation subsidiaire au fond, que les auditions requises des deux magistrats ne justifiaient pas la récusation du Juge d'instruction en charge de la procédure pour des raisons dont le recourant ne cherche pas à démontrer le caractère insoutenable; aussi, même si l'on voulait admettre que A._ était en droit d'attendre l'issue de la procédure d'instruction pour solliciter l'audition du Juge d'instruction et, partant, la récusation de celui-ci pour ce motif, le recours serait de toute manière irrecevable au regard de l'art. 90 al. 1 let. b OJ.
2.4 Le recourant voyait également un élément supplémentaire de la prévention du magistrat intimé à son égard dans le fait que celui-ci se serait déjà prononcé sur l'opportunité de son audition en tant que témoin. On peut se demander si ce grief est également visé par l'irrecevabilité. Peu importe en définitive car le Président du Tribunal cantonal s'est prononcé à ce propos dans le cadre de sa motivation subsidiaire au fond; il a alors considéré que dans la mesure où la loi permet au juge d'instruction de refuser de témoigner, l'on ne peut voir aucune prévention dans le fait qu'il ait, dans la motivation de son refus de se récuser, estimé son témoignage inutile. Admettre le contraire permettrait à toute partie d'exclure un magistrat d'un dossier en invoquant la prétendue nécessité de l'entendre comme témoin. Au surplus, un refus d'administrer une preuve ne constitue pas un fait propre à démontrer la partialité du juge. Le recourant ne cherche pas à démontrer en quoi ces motifs seraient arbitraires et impropres à justifier le rejet de sa requête de récusation. Le recours est donc en tout état de cause irrecevable sur ce point également.
2.5 Le recourant reproche enfin au Juge d'instruction B._ d'avoir fait preuve d'une inégalité de traitement en sa défaveur en ordonnant son inculpation alors qu'il avait prononcé un non-lieu à l'égard d'un avocat prévenu d'injure dans une cause l'opposant à son épouse actuelle.
Il n'est pas établi que l'instruction de cette cause ait effectivement été confiée au magistrat intimé. Quoi qu'il en soit, le recourant n'a pas sollicité la récusation de B._ pour ce motif; il s'agit ainsi d'un grief nouveau qui n'est pas admissible au regard de la règle de l'épuisement des instances cantonales posée à l'art. 86 al. 1 OJ (cf. <ref-ruling> consid. 4.6 p. 80; <ref-ruling> consid. 2b p. 89). Il en va de même des prétendus liens d'inimitié que le juge d'instruction entretiendrait à son égard et que le recourant fonde sur des éléments allégués pour la première fois devant le Tribunal fédéral.
3. Le recours doit par conséquent être rejeté dans la mesure où il est recevable, aux frais du recourant qui succombe (art. 156 al. 1 OJ).

Par ces motifs, vu l'art. 36a OJ, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie aux parties et au Président du Tribunal cantonal du canton du Valais.
Lausanne, le 15 juin 2006
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: