Faits :
A.
A._, avocat au barreau valaisan, a représenté en 2016 B._ dans le cadre d'une procédure visant à invalider une décision refusant à son client l'inscription au tableau public des avocats des Etats membres de l'Union européenne du canton du Valais.
A l'appui de sa demande d'inscription, B._ avait produit une attestation, établie le 15 avril 2016 par la "Solicitors Regulation Authority, de laquelle il ressortait qu'il avait obtenu le titre de « solicitor» de l'Angleterre et du Pays de Galles", mais ne détenait pas de certificat l'habilitant à y pratiquer cette profession.
Par décision du 20 mai 2016, le président de l'Autorité cantonale de surveillance des avocats a rejeté la demande d'inscription de B._ au motif que celui-ci n'avait pas démontré être autorisé à exercer sa profession dans son état de provenance.
Le 31 mai 2016, B._ a déféré cette décision devant le Tribunal cantonal du canton du Valais (ci-après : Tribunal cantonal), lequel a rejeté, par arrêt du 1er septembre 2016, son recours. Le 15 septembre 2016, B._, représenté par A._, a formé un recours de droit public devant le Tribunal fédéral contre cet arrêt, dont les paragraphes 7 et 27 ont la teneur suivante :
"La situation relève d'une schizophrénie totale où l'autorité attaquée, d'un côté, reconnaît la qualité d'avocat du recourant en l'adressant notamment avec le terme "Maître", et, de l'autre côté, refuse pertinemment de l'inscrire sur la liste publique des avocats (par. 7). Présenter, comme le fait le Tribunal cantonal dans l'arrêt attaqué du 1 septembre 2016, l'inscription du recourant sur la liste publique des avocats du canton du Valais - qui dispose de deux brevets d'avocats en Belgique et au Royaume-Uni, qui est inscrit sur le tableau des avocats à Londres, qui n'est pas radié, ni suspendu, qui dispose d'un Master en Droit, d'un Doctorat en Droit et d'un Master en Administration des affaires - comme une faveur ou un privilège, un traitement de faveur ou d'exception, par rapport à, sous-entendu les autres avocats du Canton du Valais, est immonde, et souligne le comportement arbitraire et discriminatoire à l'extrême de l'autorité attaquée vis-à-vis d'une demande d'inscription en bonne et due forme (par. 27)."
Le Tribunal fédéral, rejetant le recours de B._ par son arrêt 2C_874/2016 du 23 décembre 2016, a relevé ce qui suit (consid. 8) :
"Finalement, le mandataire du recourant est expressément mis en garde sur ses écarts de langage. Il est en effet inadmissible, spécialement pour un mandataire professionnel, de qualifier le raisonnement d'un Tribunal cantonal d'"immonde" et d'affirmer qu'il fait preuve d'une "schizophrénie totale". De tels propos sont inconvenants et constituent un manque de respect envers les autorités (cf. <ref-law>)."
Ce considérant fut l'objet d'un commentaire dans la revue " La Semaine judiciaire ". Me C._ s'en saisit pour dénoncer A._ auprès de la Chambre de Surveillance des avocats valaisans (ci-après : Chambre de surveillance) pour manquement à son devoir de diligence.
B.
Par décision du 11 décembre 2018 la Chambre de surveillance a reconnu A._ coupable d'une violation de l' art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (Loi sur les avocats, LLCA; RS 935.61) et lui a infligé une amende de 1'000.- fr. au motif qu'en qualifiant la "situation" de "schizophrénie totale" et en utilisant le terme "immonde" pour caractériser le raisonnement du Tribunal cantonal il s'était exprimé de manière inadmissible.
Par arrêt du 17 janvier 2020, le Tribunal cantonal a rejeté le recours formé par A._ contre cette décision, jugeant que celui-ci s'était effectivement livré à une critique de son jugement en des termes inadmissibles.
C.
Agissant par la voie du recours en matière de droit public et du recours de droit constitutionnel, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement du 17 janvier 2020 du Tribunal cantonal et de la décision de la Chambre de surveillance du 11 décembre 2018.
D. La Chambre de surveillance et le Tribunal cantonal du Valais se réfèrent à leur décision respective et renoncent à se déterminer sur le recours.

Considérant en droit :
1.
1.1. Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la LLCA qui relève du droit public au sens de l'<ref-law>. Dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), le recours en matière de droit public déposé par le destinataire de l'arrêt attaqué a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Déposé en temps utile (<ref-law>) et, sous réserve de ce qui suit (cf. consid. 1.2 infra), dans les formes requises (<ref-law>), le recours en matière de droit public est recevable. Le recours constitutionnel subsidiaire est, par conséquent, irrecevable (<ref-law>).
1.2. La conclusion du recours tendant à l'annulation de la décision de la Chambre de surveillance est irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal cantonal (<ref-ruling> consid. 1.2 p. 543).
1.3. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2). L'<ref-law> exige par ailleurs que le recourant critique les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> précité). Il doit exister un lien entre la motivation du recours et la décision attaquée. Le Tribunal fédéral ne connaît en outre de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant ("principe d'allégation", <ref-law>; <ref-ruling> consid. 2.2), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.1).
2.
2.1. En l'espèce, le recourant expose dans la première partie de son mémoire, intitulée "en procédure", que la Chambre de surveillance aurait dû déclarer irrecevable la plainte du dénonciateur pour manque d'intérêt personnel et manque de qualité pour agir. Il soutient, par ailleurs, que la Chambre de surveillance aurait dû se déclarer incompétente pour prendre connaissance de la dénonciation au motif qu'elle n'était pas une instance habilitée à régler des comptes entre avocats. Ensuite, le recourant met en cause l'indépendance et l'impartialité des membres du Tribunal cantonal.
2.2. Ces griefs furent jugés dénués de fondement par l'autorité précédente. Dans la mesure où le recourant se contente de reprendre l'argumentation formée devant celle-ci, sans se déterminer par rapport aux considérants de l'arrêt entrepris et en omettant de dire en quoi celle-ci aurait méconnu le droit, ces griefs ne remplissent pas les exigences de motivation d'un recours au sens de l'<ref-law> et ne peuvent être pris en considération.
2.3. En outre, en tant que le recourant formule des doutes quant à l'impartialité des membres de l'autorité précédente, il ne saurait être suivi. Selon un principe général, la partie qui a connaissance d'un motif de récusation doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement (<ref-ruling> consid. 2.2 p. 4). Il est, en effet, contraire aux règles de la bonne foi de garder en réserve le moyen tiré de la composition irrégulière du tribunal pour ne l'invoquer qu'en cas d'issue défavorable de la procédure (<ref-ruling> consid. 3.2.2). La partie assistée d'un avocat est en tout cas présumée connaître la composition régulière du tribunal (<ref-ruling> consid. 3.2.1 p. 125). Il en va de même pour un recourant qui est lui-même un avocat plaidant devant les instances judiciaires en question. Comme le recourant n'a pas demandé la récusation des membres du Tribunal cantonal à un stade antérieur de la procédure, il est déchu du droit de s'en prévaloir devant le Tribunal de Céans.
2.4. Finalement, faute d'avoir énoncé de façon claire et détaillée en quoi les articles 6 et 8 CEDH ainsi que les articles 4, 17 et 19 du Pacte international relatif aux droits civils et politiques (RO 1993 750; RS 0.103.2), entré en vigueur pour la Suisse le 18 septembre 1992, étaient violés par le jugement attaqué, il ne pourra être entré plus avant sur la critique du recourant.
3.
3.1. L'autorité précédente a relevé que le recourant avait utilisé l'expression "schizophrénie totale" pour qualifier la "situation" engendrée par la manière dont son client avait été traité par le Tribunal cantonal. Elle a, d'autre part, estimé qu'il était vraisemblable que cette expression ait été utilisée pour dénoncer une prétendue contradiction entre, d'une part, le fait que le Tribunal cantonal s'était adressé à son client en lui donnant du "Maître" et, d'autre part, en refusant de l'inscrire sur la "liste publique des avocats". Pour autant, elle a jugé qu'une telle manière de s'exprimer était clairement inadéquate vu que le recourant aurait parfaitement pu développer son argumentation sans faire référence au terme litigieux. Estimant que le recourant avait ainsi sciemment pris le risque qu'il soit compris comme se rapportant non seulement à la "situation" dénoncée, mais également aux personnes qui, de son point de vue, en étaient les auteurs, elle en a conclu que le recourant avait bel et bien violé son obligation d'exercer sa profession avec soin et diligence prescrite par l'<ref-law>.
3.2. L'autorité précédente a, d'autre part, jugé qu'il en allait de même pour l'utilisation du qualificatif "immonde". Concédant que le recourant n'avait pas affublé les juges cantonaux, mais bien leur raisonnement d'une telle épithète, elle a considéré que ce terme injurieux et offensant était inacceptable de la part d'un avocat et ne saurait être justifiée par la mission de défense des intérêts de son client. Elle a, en outre, estimé sans importance le fait que le Tribunal fédéral n'ait pas exigé du recourant de corriger son recours ou que son écriture n'ait pas été destinée à être "diffusée".
3.3. Le recourant fait valoir dans la partie "au fond" de son mémoire que les expressions litigieuses sont couvertes par l'immunité des plaidoiries, que les passages incriminés ne représentent qu'une ou deux phrases sur un mémoire de seize pages, et que, si le manquement à son devoir de diligence devait être confirmé, la sanction prononcée est disproportionnée.
En premier lieu, le recourant soutient que l'autorité précédente a requalifié, à tort, l'utilisation des termes litigieux comme des attaques personnelles à l'adresse d'un magistrat ou d'un tribunal. Il argue, en outre, de ce qu'un tribunal n'est pas habilité à prescrire à un avocat les mots que celui-ci doit utiliser et que cette manière de faire constitue une "ingérence étatique" inadmissible, portant atteinte à la fois à la liberté de défense et à l'indépendance de l'avocat. Il estime, de surcroît, que le jugement attaqué est contradictoire et en devient arbitraire au sens de l'art. 9 Cst., en ce que l'autorité précédente reproche au recourant de faire référence sans nécessité à une pathologie psychiatrique alors qu'elle reconnaît que celui-ci n'a pas utilisé le terme "schizophrénie" dans un sens médical, mais bien dans son sens commun de "contradictoire et paradoxal".
En second lieu, le recourant affirme que l'utilisation du terme "immonde" dont il affuble le raisonnement du Tribunal cantonal, n'est autre que le reflet d'un profond sentiment d'injustice face au constat que son client, en dépit de ses 20 années d'expérience, ses deux brevets d'avocat (belge et anglais) et un casier judiciaire vierge, s'est vu refuser de manière abusive d'exercer son métier à l'étranger, et par conséquent, est également interdit de pratique en Suisse. De l'avis du recourant, l'autorité précédente aurait, d'ailleurs, pris ses propos hors de leur contexte et aurait ainsi dénaturé tant leur définition que leur portée.
3.4. L'<ref-law> dispose que l'avocat exerce sa profession avec soin et diligence. Cette disposition constitue une clause générale, qui ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais qui englobe ceux avec ses confrères, ainsi qu'avec toutes les autorités (<ref-ruling> consid. 3.2 p. 276) et non seulement les autorités judiciaires stricto sensu (arrêt 2A.448/2003 du 3 août 2004 consid. 3).
3.5. Selon la jurisprudence du Tribunal fédéral, l'avocat, qui peut se prévaloir de la liberté d'opinion (art. 16 Cst.), dispose d'une grande liberté pour critiquer l'administration de la justice, tant qu'il le fait dans le cadre de la procédure, que ce soit dans ses mémoires ou à l'occasion de débats oraux. Il y a un intérêt public à ce qu'une procédure se déroule conformément aux exigences d'un État fondé sur le droit. En fonction de cet intérêt public, l'avocat a le devoir et le droit de relever les anomalies et de dénoncer les vices de la procédure. Le prix à payer pour cette liberté de critiquer l'administration de la justice revient à s'accommoder de certaines exagérations (dans ce sens: <ref-ruling> consid. 1.3.2 p. 158; <ref-ruling> c. 3.2.2 p. 278). Si l'avocat se voit interdire une critique non fondée, il ne lui est plus possible de présenter sans risque une critique éventuellement fondée. Si, après examen, les griefs soulevés se révèlent non fondés, cela n'est pas un motif en soi suffisant pour infliger une peine disciplinaire.
L'avocat n'agit contrairement à ses devoirs professionnels et, partant, de façon inadmissible, que s'il formule des critiques de mauvaise foi ou dans une forme attentatoire à l'honneur, au lieu de se limiter à des allégations de fait et à des appréciations. De plus, l'obligation de diligence interdit à l'avocat d'entreprendre des actes qui pourraient nuire aux intérêts de son client (<ref-ruling> consid. 1.3.2 p. 158).
Si un avocat se voit certes reconnaître une large marge de manoeuvre s'agissant de déterminer les moyens et stratégies qui sont les plus aptes à la défense des intérêts de ses clients, il doit néanmoins demeurer circonspect. La jurisprudence souligne que l'avocat est le "serviteur du droit". En ce sens, l'avocat assume une tâche essentielle dans l'administration de la justice en garantissant le respect des droits des justiciables et joue ainsi un rôle important pour le bon fonctionnement des institutions judiciaires au sens large. Dans ce cadre, il doit se montrer digne de confiance dans les relations avec les autorités judiciaires ou administratives et s'abstenir de tout acte susceptible de remettre en question cette confiance (<ref-ruling> consid. 4.3 p. 477).
Pour qu'un comportement tombe sous le coup de l'<ref-law>, il suppose toutefois l'existence d'un manquement significatif aux devoirs de la profession (cf. arrêt 2C_878/2011 du 28 février 2012 consid. 5.1; 2C_452/2011 du 25 août 2011 consid. 5.1 et les références citées).
3.6. Pour apprécier si les expressions litigieuses utilisées par le recourant dans son écriture sont couvertes par la liberté d'opinion de l'avocat, il faut procéder à une interprétation objective selon le sens que le destinataire devait, dans les circonstances d'espèce, lui attribuer. Si celui-ci apparaît ambigu, il y a lieu de retenir l'interprétation qui n'entraîne pas de sanctions. En effet, si une personne devait craindre d'être sanctionnée en exprimant une opinion, alors que les circonstances et la manière dont celle-ci est formulée autorisent également une interprétation ne conduisant pas à des sanctions et que l'intention de cette personne n'était pas de tenir des propos répréhensibles, alors la sanction aurait inévitablement pour conséquence, par effet d'intimidation, de refréner des opinions autorisées, ce qui ne serait pas compatible avec le droit fondamental de la liberté d'expression (cf. l'arrêt de la Grande Chambre de la CourEDH Mor contre France du 15 décembre 2011, § 83 ss; cf. FRÉDÉRIC KRENC, La liberté d'expression vaut pour les propos qui "heurtent, choquent ou inquiètent". Mais encore?, Revue trimestrielle des droits de l'homme [RTDH] 2016 p. 311 ss, 316).
En premier lieu, il y a lieu de relever qu'il est notoire que les titulaires du brevet d'avocat, inscrits ou non au barreau, sont appelés "Maître " dans la correspondance entre juristes en Suisse romande. Le fait que le Tribunal cantonal ait utilisé le terme "Maître " pour se référer au client du recourant, nonobstant le fait qu'elle refusait de l'inscrire au barreau valaisan, n'est donc pas en soi contradictoire. Il n'est cependant pas exclu que le recourant ne l'ait pas compris ainsi. On ne saurait donc lui reprocher d'avoir relevé une contradiction dans ces propos.
Dès lors que le sens d'une expression reste ambigu, il faut retenir celui qui n'est pas sujet à reproche. Comme l'autorité précédente l'a relevé à bon escient, l'expression litigieuse pouvait être comprise dans le sens où le requérant souhaitait soulever le manque de cohérence d'un raisonnement du tribunal et non pas porter un jugement sur la santé mentale des juges. Compris de cette manière, l'expression "schizophrénie totale" se rapportant à une "situation" reflète certes un mode d'expression un peu outrancier, mais reste admissible. Cela ne remet d'ailleurs pas en cause que le Tribunal fédéral ait à juste titre demandé au recourant de tempérer ses propos. En effet, un tel avertissement n'est pas comparable à une sanction en ce qu'il n'a pas le même effet potentiellement préjudiciable à la liberté d'expression de l'avocat. Seule la sanction disciplinaire comporte, en effet, le risque de porter atteinte à la mission de l'avocat qui est de défendre son client avec toute la détermination nécessaire.
En utilisant l'expression "schizophrénie totale" en relation avec une "situation" le recourant n'a en l'occurrence pas manqué au devoir de diligence de l'avocat envers les autorités. Celle-ci reste couverte par la liberté d'expression garantie par l'art. 10 CEDH et l'art. 16 Cst.
3.7. Il n'en va cependant pas de même en ce qui concerne l'utilisation du mot "immonde". En qualifiant ainsi le raisonnement du Tribunal cantonal, le recourant a dépassé les limites de l'admissible. Pour peu qu'elle soit suffisamment motivée, la longue argumentation du recourant quant à son droit de pouvoir plaider librement, sans qu'aucune limite n'entrave sa liberté d'expression, n'est pas convaincante. Ce droit ne l'affranchit en effet pas des convenances indispensables au bon déroulement du débat judiciaire. S'il est vrai que le devoir de défense peut permettre que la critique soit dure et que l'avocat puisse plaider de façon énergique et tranchée sans que l'on exige de sa part qu'il pèse soigneusement chacun de ses mots, l'avocat doit s'efforcer de prévenir toute escalade du conflit en renonçant aux attaques personnelles, à la diffamation et à l'injure (arrêt 2A.499/2006 du 11 juin 2007 consid. 2.1).
Comme l'a retenu à raison l'autorité précédente, l'utilisation du terme "immonde", qui désigne dans un sens figuré "ce qui a le caractère d'une extrême immoralité ou d'une bassesse ignoble et révoltante", peut s'apparenter à des propos portant atteinte à l'honneur et ne saurait être accepté de la part d'un avocat dans sa relation avec une autorité judiciaire. De surcroît, le recours à un tel langage n'était motivé par aucune autre circonstance que le refus d'accéder à la demande de son client. De l'aveu même du recourant, c'est davantage le refus des autorités étrangères de délivrer à son client une autorisation d'exercer qui avait suscité son dépit que la décision du Tribunal cantonal de ne pas l'inscrire au tableau des avocats en Valais.
Au surplus, que son écriture de recours n'ait pas eu vocation à être largement diffusée ne change rien. D'une part, l'obligation de traiter les instances judiciaires avec le respect qui leur est dû vaut en toute circonstance. D'autre part, en insérant des termes de ce type dans son mémoire, le recourant ne pouvait ignorer que ceux-ci pourraient figurer dans l'arrêt du Tribunal fédéral et, par ce biais, être porté à la connaissance de tous. Finalement, le fait que ce dernier se soit borné à un obiter dictum dénonçant les écarts de langage du recourant n'a pas d'incidence sur le pouvoir d'appréciation de la Chambre de surveillance lorsqu'il s'agit de sanctionner les avocats qui manquent à leur devoir de diligence.
Constitue, par contre, une circonstance aggravante le fait que le terme litigieux ait été tenu non pas oralement dans le feu d'une séance, mais bien par écrit, mode d'expression qui laisse l'opportunité de la réflexion et de la mesure des mots employés (cf. arrêt 2C_247/2014 du 26 novembre 2014 consid. 2.3).
3.8. Compte tenu de ce qui précède, le recourant a bel et bien violé son devoir de diligence prescrit par l'<ref-law> en qualifiant le raisonnement du Tribunal cantonal d' "immonde". Le grief formulé sans retenue démontre clairement que le recourant peine à distinguer la différence entre une critique légitime et des propos déplacés voire irrespectueux.
4.
4.1. Le recourant a été sanctionné d'une amende de 1000.- fr. par la Chambre de surveillance. L'autorité précédente a confirmé cette sanction en retenant que le recourant avait depuis l'entrée en vigueur de la LLCA fait l'objet de pas moins de six sanctions disciplinaires, allant de l'avertissement à l'amende, pour des infractions à l'art. 12 let. a, b, c, g et i LLCA, notamment pour avoir tenu des propos offensants à l'endroit d'une magistrate. Elle a relevé, en outre, que la multiplication des violations retenues à l'encontre du recourant suscitait le doute quant à son aptitude à véritablement exercer sa profession avec la diligence et le soin requis. Elle a considéré en l'occurrence que la Chambre de surveillance avait fait montre d'indulgence en ne le sanctionnant que d'une amende de 1000 fr.
4.2. L'<ref-law> prévoit qu'en cas de violation d'une règle professionnelle, l'autorité cantonale de surveillance peut prononcer à l'encontre d'un avocat, entre autres mesures disciplinaires, un avertissement, lequel constitue la sanction la plus légère du catalogue prévu à l'<ref-law> (cf. arrêt 2C_1180/2013 du 24 octobre 2014 consid. 4.4). La loi reconnaît ainsi à l'autorité compétente en matière disciplinaire une certaine marge d'appréciation. La sanction disciplinaire doit se limiter à ce qui est nécessaire pour garantir la protection des justiciables et empêcher les atteintes au bon fonctionnement de l'administration de la justice; il y a lieu de déterminer le but que la sanction disciplinaire doit atteindre dans le cas particulier et de choisir la mesure qui est apte, nécessaire et proportionnée à cette fin. La prise en compte de sanctions anciennes est admissible (arrêt 2A.560/2004 du 1er février 2005 consid. 6).
L'amende fait partie des mesures disciplinaires d'importance moyenne. Elle sanctionne des manquements professionnels plus graves que le blâme mais suppose, comme celui-ci, que les manquements constatés ne soient pas inconciliables avec la poursuite de l'activité professionnelle de l'avocat (cf. arrêt 2C_988/2017 du 19 septembre 2018 consid. 6).
4.3. Au vu des manquements reprochés au recourant, et des condamnations précédentes, la sanction prononcée n'est clairement pas disproportionnée et l'autorité précédente n'a pas dépassé son pouvoir d'appréciation en condamnant le recourant à une amende de 1000 fr.
5. Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, à la Chambre de surveillance des avocats et au Tribunal cantonal du canton du Valais, Autorité de surveillance des avocats.
Lausanne, le 13 mai 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : de Sépibus