Faits:
A. Le 11 octobre 2008, D._ a dénoncé pénalement A._, avec constitution de partie civile, pour extorsion et chantage (<ref-law>). Le 12 octobre 2009, revenant sur sa requête formulée au terme de l'interrogatoire par la police le 12 mai 2009, A._ a invité le juge d'instruction à statuer sur la capacité de postuler de l'avocat X._, le mandataire de D._, au motif qu'il n'aurait cessé de le harceler personnellement depuis plus de douze ans.
B. Le 9 novembre 2009, le juge d'instruction a dénié à X._ la capacité de postuler et lui a fait obligation de renoncer à la défense de D._. L'avocat ainsi mis en cause a saisi le Tribunal cantonal du canton du Valais comme Autorité de plainte.
Par arrêt du 30 juin 2010, le Tribunal cantonal a rejeté le recours. En substance, il a retenu que X._ s'était vu condamner, au terme d'une procédure qui s'est achevée devant le Tribunal fédéral le 1er février 2010, à une peine pécuniaire de 135 jours-amende à 200 fr. le jour, avec sursis pendant deux ans, ainsi qu'à une amende de 1'500 fr. pour calomnie (<ref-law>), insoumission à une décision de l'autorité (<ref-law>) et dénonciation calomnieuse (<ref-law>). Cette condamnation a été prononcée à son encontre dès lors qu'il avait agi dans le but de nuire à son confrère A._, pour se venger des sanctions disciplinaires prononcées contre lui et qu'il estimait injustifiées. Il avait fait feu de tout bois, n'hésitant notamment pas à tirer prétexte de divergences relativement mineures et explicables entre le contenu d'une déposition d'un tiers et les allégués de A._ et E._, pour formuler des accusations graves et sans fondement contre ceux-ci. Dans la mesure où, selon le Tribunal cantonal, l'inimitié, voire plus, entre X._ et A._ sont de notoriété publique, il existe un risque potentiel que X._ se laisse influencer par ses intérêts personnels, plutôt que par ceux de sa cliente, en cherchant à tout prix, par vengeance personnelle, à obtenir une condamnation personnelle de A._. Cela justifiait la décision du juge d'instruction de lui dénier la capacité de postuler dans ces affaires et donc le rejet du recours.
C. Par écriture parvenue au Tribunal fédéral le 30 août 2010, X._ demande l'annulation du jugement du Tribunal cantonal du 30 juin 2010.
Appelé à se déterminer sur ce recours, le Tribunal cantonal confirme "la notoriété publique dans le milieu judiciaire valaisan de l'inimitié, voire plus, entre Me X._ et A._", de sorte qu'il existe "un risque non seulement potentiel, mais concret que le recourant se laisse influencer par ses intérêts personnels, plutôt que par ceux de sa cliente en cherchant à tout prix, par vengeance personnelle, à obtenir une condamnation de A._". Egalement appelé à se déterminer, ce dernier a fait état de onze décisions de refus de donner suite qui ont sanctionné les dénonciations pénales de X._ à son encontre, de six commandements de payer qu'il a reçus de ce dernier et de cinq dénonciations disciplinaires dont il a aussi fait l'objet de sa part.
Dans une écriture spontanée du 16 novembre 2010, X._ s'est prononcé sur le contenu de la détermination de A._.

Considérant en droit:
1. 1.1 Le recourant forme un "recours de droit public" auprès du Tribunal fédéral contre le jugement du Tribunal cantonal du 30 juin 2010. Le recours de droit public prévu par l'ancienne loi fédérale d'organisation judiciaire du 16 décembre 1943 n'existe plus depuis l'entrée en vigueur, le 1er janvier 2007, de la LTF. La qualification imprécise du recours ne saurait toutefois nuire au recourant, dans la mesure où son écriture respecte les conditions de recevabilité de la voie de droit ouverte.
1.2 Le litige porte sur une sanction disciplinaire infligée à un avocat en vertu de l'art. 12 let. c de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61). L'objet du litige relève donc du droit public au sens de l'<ref-law> et ne tombe pas sous le coup des exceptions prévues à l'<ref-law>. Par conséquent, interjeté par une partie directement touchée par la décision attaquée (cf. art. 89 al. 1 let. a et b LTF), le recours en matière de droit public dirigé contre un jugement final (cf. <ref-law>) rendu par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42 et 100 al. 1 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Il peut néanmoins rectifier ou compléter les faits constatés de façon manifestement inexacte (soit arbitraire; <ref-ruling> consid. 7.1 p. 398) ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Le recourant peut soulever de tels vices relatifs à la constatation des faits si leur correction est susceptible d'influer sur le sort de la cause (cf. <ref-law>). Toutefois, dans la mesure où il se plaint d'arbitraire dans la constatation des faits ou d'application inconstitutionnelle de règles de procédure cantonale, il est tenu de se conformer aux exigences de motivation prévues à l'<ref-law>, soit d'exposer d'une manière circonstanciée ses griefs (cf. <ref-ruling> consid. 1.4.3 p. 254 ss). En effet, aux termes de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été soulevé et motivé par le recourant. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel soulevés et suffisamment motivés dans l'acte de recours (<ref-ruling> consid. 5.2 p. 30 s.; <ref-ruling> consid. 1.4 p. 254; <ref-ruling> consid. 6 p. 397 et la jurisprudence citée).
De ce point de vue, les faits relatés par A._ dans sa détermination ne peuvent être pris en compte par le Tribunal fédéral.
2. Enonçant les règles professionnelles que doit respecter l'avocat, l'art. 12 let. c LLCA prévoit que celui-ci doit éviter tout conflit entre les intérêts de son client et ceux des personnes avec lesquelles il est en relation sur le plan professionnel ou privé. L'interdiction de plaider en cas de conflit d'intérêts est une règle cardinale de la profession d'avocat (arrêt 1A.223/2002 du 18 mars 2003 consid. 5.2). Elle est en lien avec la clause générale de l'<ref-law>, selon laquelle l'avocat exerce sa profession avec soin et diligence, de même qu'avec l'obligation d'indépendance rappelée à l'<ref-law> (<ref-ruling> consid. 3 p. 110).
3. 3.1 Dans une partie intitulée "Motivations", le recourant fait valoir, si on le comprend bien, que "le Tribunal cantonal a induit en erreur le Tribunal fédéral" dans le cadre - semble-t-il - de la procédure pénale dont il a fait l'objet, dans la mesure où l'arrêt du 1er février 2010 confirmant la sanction pénale serait en contradiction avec la jurisprudence antérieure du Tribunal de céans, de sorte que "c'est bien à tort que le [recourant] a été condamné pour dénonciation calomnieuse à l'encontre de Me A._". Cette tentative de remettre en cause l'autorité de la chose jugée du jugement du Tribunal fédéral dont il a fait l'objet ne lui est d'aucun secours dans la présente cause. Cet arrêt contient des faits qui ont été repris par le Tribunal cantonal et qui lient le Tribunal fédéral appelé à se prononcer sur l'actuelle affaire disciplinaire. La présentation de ce grief, sans rapport direct avec le jugement cantonal ici contesté, ne répond pour le reste nullement aux exigences de motivation de l'<ref-law>. Le grief est donc irrecevable.
3.2 Dans la partie du mémoire intitulée "En droit", le recourant commence par rappeler les principes juridiques régissant la matière disciplinaire le concernant. Il se limite ensuite à faire valoir ce qui suit:
"Il est rappelé que c'est Me A._ [qui] a trompé la Justice et non le soussigné.
Aussi, Me A._ a dénoncé le soussigné pour un acte conforme au droit dans le cadre de la procédure relative à la société F._ Construction SA, ce qui a été confirmé par le Tribunal fédéral le 20 octobre 2009, qui a blanchi Me X._.
Dans ce cas, l'Etat de Vaud a admis que la plainte déposée par Me A._ était infondée et a versé une indemnité de Fr. 40'000.-- au soussigné, dont Fr. 10'000.-- pour tort moral (cf. annexe).
Cela démontre à satisfaction de droit que c'est Me A._ qui dénonce le soussigné et non le contraire.
Quoi qu'il en soit, si le soussigné a été condamné, cela est dû à la bienveillance dont font preuve les différentes institutions judiciaires avec les avocats de l'Etude G._.
En tout état de cause, ces éléments démontrent qu'il n'y a aucun conflit d'intérêts entre le mandat accepté par le soussigné et le comportement de Me A._ qui, on le rappelle, n'est pas un client de l'Etude de Me X._.
Il ne peut donc y avoir conflit d'intérêts au sens de l'art. 12 let. c LLCA puisque celui-ci ne trouve pas son application au cas d'espèce."
A nouveau, un tel argumentaire, qui se réfère de manière appellatoire à des faits non retenus dans le jugement entrepris ou à des faits nouveaux et qui ne discute nullement la question juridique à la base de la décision contestée, est irrecevable au regard des exigences de motivation de l'<ref-law> et, plus encore, s'agissant de la contestation des faits de la cause, de celles de l'<ref-law>. Il en va d'ailleurs de même des allégués contenus dans l'écriture spontanée du 16 novembre 2010.
4. Vu ce qui précède, le recourant qui succombe supportera les frais judiciaires (cf. art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, et, avec une copie de l'écriture de ce dernier du 16 novembre 2010, à A._, à l'Office du Juge d'instruction du Bas-Valais, à B._, à C._ et au Tribunal cantonal du canton du Valais comme Autorité de plainte.
Lausanne, le 25 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin