Faits :
A.
A.a. A._ a obtenu son brevet d'avocat le 13 août 2014. Il est inscrit au registre valaisan des avocats depuis le 29 septembre 2014.
A.b. En 2016, A._ a fait l'objet des trois dénonciations suivantes auprès de la Chambre de surveillance des avocats du canton du Valais (ci-après: la Chambre de surveillance) :
- le 2 septembre 2016, le Procureur général du canton du Valais a informé la Chambre de surveillance que, dans le cadre d'une procédure pénale pour meurtre, subsidiairement homicide par négligence, A._ avait transmis à sa cliente, prévenue et détenue provisoirement, une lettre du concubin de celle-ci;
- le 28 novembre 2016, Me B._ a dénoncé A._ au motif que celui-ci avait déposé une dénonciation disciplinaire abusive, voire calomnieuse à son endroit;
- le 27 décembre 2016, C._ Sàrl - Institut d'action et de développement en psychologie du trafic (ci-après: C._), par sa directrice D._, a dénoncé A._ pour des propos "à la limite de la menace et de l'insulte", que l'avocat avait formulés à la suite d'une expertise de C._ visant à déterminer l'aptitude à la conduite d'un de ses clients. A._ avait notamment affirmé que l'expertise n'avait pas été menée selon les règles de l'art et que les conclusions étaient "iniques et arbitraires".
A.c. Le 6 janvier 2017, A._ a saisi le juge de commune compétent d'une requête en conciliation dans le cadre d'une action en "inexécution d'un contrat de mandat" dirigée à l'encontre de C._. Par courrier du 6 février 2017, il a par ailleurs imparti à D._ un unique délai au 15 février 2017 pour "retirer purement et simplement" sa dénonciation auprès de la Chambre de surveillance, se réservant à défaut le droit "d'envisager la piste pénale", précisant à ce sujet que "le comportement de la directrice de C._ pourrait être susceptible de tomber sous le coup d'une tentative de contrainte au sens de l'art. 181 du Code pénal suisse".
D._ a informé la Chambre de surveillance de la procédure civile engagée et lui a transmis le courrier du 6 février 2017. La procédure disciplinaire a été suspendue jusqu'à droit connu sur la procédure civile. Par courrier du 6 mars 2017, A._ a indiqué à la Chambre de surveillance que son client avait renoncé à ouvrir action contre C._ et a sollicité le classement de la procédure disciplinaire.
B.
Par courrier du 21 avril 2017, le Président de la Chambre de surveillance a informé A._ que les faits ressortant des trois dénonciations susmentionnées étaient susceptibles de constituer des violations du devoir de diligence de l'avocat. Par déterminations des 25 avril, 17 mai 2017 et 30 novembre 2018, A._ a conclu au classement des dénonciations.
Par décision du 18 mars 2019, la Chambre de surveillance a reconnu A._ coupable de violation de l'art. 12 let. a de la loi sur les avocats et lui a infligé une amende de 1'000 fr.
A._ a formé auprès du Tribunal cantonal du canton du Valais, en sa qualité d'Autorité cantonale de surveillance des avocats (ci-après: le Tribunal cantonal), un recours contre cette décision, en concluant à sa réforme dans le sens du prononcé d'un avertissement en lieu et place de l'amende. Par jugement du 3 février 2020, le Tribunal cantonal a rejeté le recours.
C.
Contre le jugement du 3 février 2020, A._ forme un recours en matière de droit public au Tribunal fédéral, en demandant, sous suite de frais et dépens "à la charge du fisc" (sic), la réforme du jugement en ce sens qu'un avertissement est prononcé à son encontre.
Le Tribunal cantonal ne formule pas d'observations et se réfère aux considérants de son jugement. La Chambre de surveillance renonce à formuler des observations.

Considérant en droit :
1.
Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61), qui relève du droit public au sens de l'art. 82 let. a LTF. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte. Au surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF), par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il est par conséquent recevable et il convient d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. En particulier, il revoit librement le point de savoir s'il y a eu violation des règles professionnelles figurant à l'art. 12 LLCA en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits (<ref-ruling> consid. 4.2 p. 476 s.).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (art. 105 al. 1 LTF), hormis dans les cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Conformément à l'art. 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 5.1 p. 356).
3.
Citant l'art. 12 let. a LLCA, le recourant conteste deux des trois manquements à son devoir de diligence retenus par la Chambre de surveillance et confirmés par le Tribunal cantonal.
3.1. L'art. 12 let. a LLCA dispose que l'avocat exerce sa profession avec soin et diligence. Cette disposition constitue une clause générale, qui permet d'exiger de l'avocat qu'il se comporte correctement dans l'exercice de sa profession (<ref-ruling> consid. 4.1 p. 476 et les références citées). Elle ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais comprend aussi les relations avec les confrères et les autorités (<ref-ruling> consid. 4.1 p. 476). L'art. 12 let. a LLCA suppose l'existence d'un manquement significatif aux devoirs de la profession (<ref-ruling> consid. 4.1 p. 476).
3.2. En l'occurrence, il est reproché au recourant d'avoir violé son devoir de diligence à trois reprises: tout d'abord en remettant à sa cliente qui se trouvait en détention un courrier de son concubin, puis en dénonçant disciplinairement à tort un confrère et, enfin, en menaçant ouvertement la directrice de C._ de poursuites pénales sans fondement, ainsi qu'en adoptant à l'égard de celle-ci un ton inacceptable pour un avocat.
3.3. Le recourant reconnaît avoir, en transmettant à sa cliente en détention un courrier de son concubin, violé l'art. 235 al. 3 CPP, qui soumet à la censure le courrier entrant et sortant adressé aux détenus sauf exceptions. C'est du reste ce qui a été retenu, selon le jugement entrepris, par ordonnance du 15 mai 2017 de la Chambre pénale du Tribunal cantonal. Or, le non-respect de la loi constitue un manquement au devoir de l'avocat d'exercer sa profession avec soin et diligence (cf. arrêt 2P.194/2004 du 23 mars 2005 consid. 3.4; cf. MICHEL VALTICOS, in Valticos/Reiser/Chappuis [éd.], Commentaire romand - Loi sur les avocats, 2010, n. 37 ad art. 12 LLCA, qui cite l'exemple de la transmission de pièces à un détenu en éludant la censure). Le recourant ne prétend pas le contraire. En tant qu'il minimise sa faute, sa critique relève de la fixation de la sanction (cf. infra consid. 4).
3.4. En revanche, le recourant conteste tout manquement à son devoir de diligence s'agissant de la dénonciation de son confrère auprès de la Chambre de surveillance. Selon lui, cette dénonciation était fondée, car son confrère aurait contourné "astucieusement et abusivement" l'art. 6 du Code suisse de déontologie édicté par la Fédération Suisse des Avocats (ci-après: CSD) en laissant son client produire dans une procédure pénale les opposant un courrier soumis aux réserves d'usage. A tout le moins c'est ce qu'il avait estimé lorsqu'il avait dénoncé son confrère à la Chambre de surveillance. Le Bâtonnier de l'Ordre des avocats valaisans aurait d'ailleurs partagé son avis dans un courrier du 14 novembre 2016.
3.4.1. Selon l'art. 6 CSD auquel se réfère le recourant, l'avocat ne porte pas à la connaissance du tribunal des propositions transactionnelles, sauf accord exprès de la partie adverse. Après avoir posé que le caractère confidentiel d'une communication adressée à un confrère doit être clairement exprimé, l'art. 26 CSD répète qu'il ne peut être fait état en procédure "de documents ou du contenu de propositions transactionnelles ou de discussions confidentielles". Ces dispositions servent à préciser la portée de l'art. 12 let. a LLCA. Le non-respect d'une clause de confidentialité et l'utilisation en procédure du contenu de pourparlers transactionnels constituent ainsi une violation de cette disposition (<ref-ruling> consid. 4.5 p. 478; <ref-ruling> consid. 3.1 p. 9).
3.4.2. Le fait de faire un usage abusif des procédures disciplinaires constitue un manquement aux règles professionnelles auxquelles est soumis l'avocat et qui sont énumérées à l'art. 12 LLCA, car celles-ci exigent de l'avocat non seulement de s'abstenir de procédés illégaux, mais également de ne pas user de moyens légaux d'une manière qui, dans le cas particulier, s'avère abusive, inadéquate ou disproportionnée (arrêts 2A.191/2003 du 22 janvier 2004 consid. 7.4; 2P.46/2001 du 20 août 2001 consid. 4c/cc).
3.4.3. En l'espèce, selon le jugement entrepris, le confrère du recourant a prouvé, pièces à l'appui, qu'il n'était pas à l'origine de la production, dans la procédure pénale qui les opposait, du courrier soumis aux réserves d'usage. Les précédents juges ont par ailleurs retenu que le recourant avait déposé la dénonciation disciplinaire litigieuse, alors que son confrère l'avait averti qu'il n'était pas responsable de la production de ce document et alors qu'il pouvait aisément vérifier ce fait en consultant le dossier de la procédure.
Il résulte de ces faits que le recourant savait au moment du dépôt de sa dénonciation que son confrère n'était pas à l'origine de la production du courrier soumis aux réserves d'usage. Dans ces conditions, il était abusif de la part du recourant de déposer néanmoins une dénonciation.
3.4.4. En prétendant qu'il pensait sa démarche justifiée, le recourant tente de remettre en cause l'appréciation des faits effectuée par l'autorité précédente. Il ne démontre toutefois pas en quoi celle-ci serait tombée dans l'arbitraire (cf. art. 106 al. 2 LTF; cf. supra consid. 2.2) en retenant qu'il savait lorsqu'il avait déposé sa dénonciation que son confrère n'était pas à l'origine de la production du courrier soumis aux réserves d'usage, puisque celui-ci l'avait averti de ce fait, ce qui pouvait par ailleurs être simplement vérifié en examinant le dossier de la procédure. Le recourant se prévaut en vain de ce que le Bâtonnier de l'Ordre des avocats valaisans lui aurait donné raison dans sa correspondance du 14 novembre 2016. En effet, il n'est pas fait état de ce courrier dans le jugement entrepris et le recourant ne se plaint pas d'établissement arbitraire des faits sur ce point. Au demeurant, il résulte du dossier (cf. art. 105 al. 2 LTF) que ce courrier faisait suite à la dénonciation du recourant à l'égard de Me B._ et qu'il y était seulement indiqué que le comportement dénoncé (production d'un document soumis aux réserves d'usage) était problématique. A ce stade, le Bâtonnier de l'Ordre des avocats valaisans ignorait que Me B._ n'était pas à l'origine de la production du document soumis aux réserves d'usage et que le recourant le savait. Quant à l'allégation du recourant selon laquelle son confrère aurait "contourné" l'art. 6 CSD en faisant produire par son client le courrier soumis aux réserves d'usage, elle constitue une accusation grave qui n'est étayée par aucun élément de fait figurant dans le jugement entrepris.
La violation du devoir de diligence doit donc être confirmée s'agissant de la dénonciation déposée par le recourant à l'encontre de Me B._.
3.5. Le recourant conteste également avoir violé son devoir de diligence s'agissant des faits en lien avec la directrice de C._. Selon lui, en affirmant que l'expertise effectuée par C._ avait été bâclée, il n'aurait fait qu'émettre des critiques certes dures, mais exprimées en pesant ses mots. Par ailleurs, Il n'aurait pas menacé la directrice de C._ en évoquant la possibilité de la "piste pénale".
3.5.1. Le premier devoir professionnel de l'avocat consiste à défendre les intérêts de ses clients et il dispose d'une large marge de manoeuvre pour déterminer quels sont les moyens et les stratégies qui, selon lui, sont les plus aptes à réaliser ce but (<ref-ruling> consid. 4.3 p. 477; <ref-ruling> consid. 1.3.2 p. 158). L'avocat peut défendre les intérêts de ses clients de manière vigoureuse et s'exprimer de manière énergique et vive. Il n'est pas tenu de choisir la formulation la plus mesurée à l'encontre de la partie adverse, ni de peser tous ses mots. Une certaine marge d'exagération, voire même de provocation, doit ainsi être acceptée (ATF <ref-ruling> consid. 1.3.2 p. 158; <ref-ruling> consid. 3.2.2 p. 278; arrêts 2C_307/2019 du 8 janvier 2020 consid. 7.1.2; 2C_507/2019 du 14 novembre 2019 consid. 5.1.3; 2C_907/2017 du 13 mars 2018 consid. 3.2; 2C_620/2016 du 30 novembre 2016 consid. 2.2; 2C_103/2016 du 30 août 2016 consid. 3.2.1).
Tous les moyens ne sont toutefois pas permis. Un comportement inutilement agressif ne correspond pas à une manière d'exercer la profession avec soin et diligence au sens de l'art. 12 let. a LLCA (ATF <ref-ruling> consid. 3.2.2 p. 277; arrêt 2C_307/2019 du 8 janvier 2020 consid. 5.1.3). L'avocat assume une tâche essentielle à l'administration de la justice, en garantissant le respect des droits des justiciables, et joue ainsi un rôle important pour le bon fonctionnement des institutions judiciaires au sens large. Il est partant tenu de s'abstenir de tout acte susceptible de remettre en cause la confiance qui doit pouvoir être placée dans la profession et faire montre d'un comportement correct dans son activité (<ref-ruling> consid. 4.3 p. 477 et les références; <ref-ruling> consid. 3.2.2 p. 277 s.). Il doit contribuer à ce que les conflits juridiques se déroulent de manière appropriée et professionnelle et s'abstenir de tenir des propos inutilement blessants (ATF <ref-ruling> consid. 1.3.2 p. 158; arrêt 2C_307/2019 du 8 janvier 2020 consid. 5.1.3 et les arrêts cités). L'avocat n'agit pas dans l'intérêt de son client s'il se livre à des attaques excessives inutiles, susceptibles de durcir les fronts et de conduire à une escalade dans le conflit (ATF <ref-ruling> consid. 3.2.2 p. 277; arrêt 2C_307/2019 du 8 janvier 2020 consid. 5.1.3 et les arrêts cités).
Par ailleurs, l'avocat ne peut en règle générale se servir de moyens juridiques inadéquats pour exercer des pressions (cf. arrêts 2C_782/2015 du 19 janvier 2016 consid. 5.2; 2C_247/2014 du 26 novembre 2014 consid. 2.2; 2A.448/2003 du 3 août 2004 consid. 6; par ex. la menace du dépôt d'une plainte pénale: arrêts 2C_1180/2013 du 24 octobre 2014 consid. 4.1.1; 2P.130/1997 du 30 juin 1997 in RDAT 1998 I n. 10 p. 37 consid. 5 c).
3.5.2. En l'espèce, d'après le jugement entrepris, la directrice de C._ avait été mandatée pour effectuer une expertise visant à déterminer l'aptitude à la conduite de l'un des clients du recourant. Insatisfait du résultat de cette expertise, le recourant avait notamment écrit à C._ que l'expertise n'avait pas été réalisée dans les règles de l'art et que les conclusions étaient "iniques et arbitraires". Par la suite, le recourant avait invoqué une inexécution du contrat de mandat. Après que la directrice de C._ avait formé une dénonciation à la Chambre de surveillance, le recourant lui avait en outre adressé un courrier lui impartissant un unique délai pour la retirer, en se réservant le "droit d'envisager la piste pénale" et en citant l'art. 181 CP (contrainte).
3.5.3. On ne voit aucune utilité dans la bonne défense des intérêts d'un client à qualifier les conclusions d'une expertise "d'iniques". En outre, il résulte de la lecture complète des critiques du recourant figurant au dossier (cf. art. 105 al. 2 LTF) que celui-ci s'en est pris, sans aucune raison, personnellement à l'experte, en lui reprochant notamment une "désinvolture" et une "vision arbitraire", au lieu de s'en tenir à une critique factuelle du contenu de l'expertise. Le fait que le recourant ait tenu ces propos non pas oralement dans le feu d'une séance mais par écrit, mode d'expression qui laisse en règle générale l'opportunité de la réflexion et de la mesure des mots employés, constitue une circonstance aggravante (cf. arrêt 2C_247/2014 du 26 novembre 2014 consid. 2.3). Il est impossible dans ces conditions de considérer que les critiques du recourant sont restées dans la mesure de l'acceptable comme il le prétend.
A cela s'ajoute que rien ne justifiait que le recourant exigeât de la directrice de C._ le retrait de sa dénonciation auprès de la Chambre de surveillance, en précisant envisager la piste pénale le cas échéant. Si le recourant estimait que les écrits qu'il avait envoyés à la directrice de C._ n'avaient aucun contenu inutilement vexatoire ou attentatoire à l'honneur, il n'avait qu'à le faire valoir devant la Commission de surveillance, dès lors que celle-ci avait déjà été saisie. Le recourant prétend n'avoir fait que formuler une "réserve usuelle de la part d'un avocat". L'argument frise la témérité. La menace du dépôt d'une plainte pénale sans aucun fondement - on ne voit en effet aucunement en quoi le fait que la directrice de C._ se soit adressée à la Commission de surveillance aurait pu constituer une tentative de contrainte -, afin d'obtenir le retrait d'une dénonciation est inacceptable (cf. arrêt 6B_275/2016 du 9 décembre 2016 consid. 4.2.2; <ref-ruling> consid. 2 p. 19).
Sur le vu de ces circonstances, c'est à bon droit que le Tribunal cantonal a confirmé que le recourant avait violé son devoir de diligence par son comportement à l'égard de la directrice de C._.
4.
Le recourant s'en prend à la sanction prononcée. Il se plaint de la violation du principe de proportionnalité et considère qu'un avertissement serait suffisant pour sanctionner la seule erreur qu'il admet, à savoir celle d'avoir transmis, selon lui par compassion, un courrier de son concubin à une détenue. Il fait aussi valoir que des cas plus graves auraient été sanctionnés par des mesures moins rigoureuses.
4.1. Selon l'art. 17 al. 1 LLCA, en cas de violation de la loi, l'autorité de surveillance peut prononcer les mesures disciplinaires suivantes: l'avertissement, le blâme, une amende de 20'000 francs au plus, l'interdiction temporaire de pratiquer pour une durée maximale de deux ans ou l'interdiction définitive de pratiquer. L'amende peut être cumulée avec une interdiction de pratiquer (art. 17 al. 2 LLCA). Ainsi que cela résulte de la loi, l'avertissement constitue la sanction la plus légère du catalogue prévu à l'art. 17 LLCA (arrêts 2C_988/2017 du 19 septembre 2018 consid. 6.1, non publié in <ref-ruling>, mais in Pra 2019/66 p. 658, et les références; 2C_1180/2013 du 24 octobre 2014 consid. 4.4).
La loi reconnaît à l'autorité compétente en matière disciplinaire une certaine marge d'appréciation (arrêt 2C_988/2017 du 19 septembre 2018 consid. 6.1, non publié in <ref-ruling>). La décision de l'autorité de surveillance doit toutefois toujours respecter les principes de l'égalité de traitement, de la proportionnalité et de l'interdiction de l'arbitraire (arrêts 2C_307/2019 du 8 janvier 2020 consid. 8.1; 2C_988/2017 du 19 septembre 2018 consid. 6.1, non publié in <ref-ruling>, mais in Pra 2019/66 p. 658, et les références).
4.2. En l'espèce, le recourant a méconnu à trois reprises son obligation de soin et de diligence et non pas une seule fois dans des circonstances excusables comme il le prétend. Partant, son grief tiré de la violation du principe de proportionnalité et/ou du principe d'égalité de traitement, qui repose entièrement sur cette prémisse erronée, tombe d'emblée à faux.
Pour le surplus, on soulignera que le recourant a enfreint les règles relatives à la censure des courriers des détenus, s'est servi (dénonciation injustifiée) ou a menacé de se servir (menace du dépôt d'une plainte pénale) de moyens juridiques légaux de manière abusive et a critiqué une expertise dans des termes inutilement vexatoires. Sur la seule année 2016, il a violé à trois reprises son devoir de diligence, alors qu'il n'est inscrit au barreau que depuis 2014. Sur le vu de ces éléments, c'est à bon droit que le Tribunal cantonal a retenu que les comportements du recourant ne relevaient pas du cas bénin et que la faute ne pouvait être minimisée, ni être qualifiée de légère. En outre, le recourant n'a eu de cesse, y compris devant le Tribunal fédéral, de contester les reproches formulés et, dans la faible mesure où il les accepte, de minimiser sa faute. La prise de conscience est pratiquement inexistante. Dans ces circonstances, l'autorité de surveillance n'a pas excédé son pouvoir d'appréciation en condamnant le recourant à une amende de 1'000 fr., plutôt qu'en prononçant un avertissement évoqué par le recourant. La mesure infligée au recourant n'apparaît, dans les circonstances retenues ci-avant, ni arbitraire, ni contraire au principe de proportionnalité ou à celui de l'égalité de traitement.
5.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Chambre de surveillance des avocats et au Tribunal cantonal du canton du Valais, Autorité de surveillance des avocats.
Lausanne, le 25 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber