Faits :
A.
A.a. A._ est un avocat inscrit au registre cantonal des avocats du canton du Valais depuis le 29 septembre 2014. En mars 2019, il a fait l'objet d'une sanction disciplinaire (confirmée en dernière instance par arrêt du Tribunal fédéral in arrêt 2C_243/2020 du 25 juin 2020) sous la forme d'une amende de 1'000 fr., pour avoir enfreint les règles relatives à la censure des courriers des détenus, s'être servi ou avoir menacé de servir de moyens juridiques légaux de manière abusive et avoir critiqué une expertise dans des termes inutilement vexatoires.
A.b. Le 11 avril 2019, intervenant en tant que conseil d'une cliente interrogée en qualité de prévenue par la police judiciaire du canton du Valais, A._ s'est emporté de façon véhémente contre les deux inspecteurs en charge de l'audition, traitant ceux-ci de "cow-boys" et leur disant notamment qu'ils ne "touch[aient] pas le puck" en matière judiciaire. Il a également traité l'avocat de la partie adverse, présent dans la salle d'audience, de "guignol" ou de "pantin", le qualifiant en outre de "fils à papa".
Par décision du 14 mai 2019, le Ministère public du canton du Valais a rejeté la demande de récusation que A._ avait formée le 11 avril 2019 contre les inspecteurs précités, tout en reconnaissant que ceux-ci avaient violé l'<ref-law> en omettant d'informer sa cliente, au début de l'audition litigieuse, des infractions qui lui étaient reprochées. S'agissant du comportement de A._ lors de ladite audition, le Ministère public a estimé que c'était "bien le comportement inadéquat et les déclarations hors de propos et discourtoises de [cet avocat], tant envers les inspecteurs qu'envers son confrère, qui [avaient] conduit les inspecteurs à faire usage de la police de l'audience au sens de l'<ref-law>", les intéressés ayant "d'abord prononcé un avertissement à son encontre, avant de lui demander de quitter les locaux, puis finalement de mettre un terme à l'audition qu'il n'était plus possible de mener à bien". Il ne pouvait toutefois être déduit de ces mesures de police de l'audience une forme de prévention des agents envers l'intéressé. Cette décision n'a pas été contestée (<ref-law>).
A.c. Par courriers du 20 mai 2019 du Commandant de la police cantonale du canton du Valais et du 7 juin 2019 du Procureur général du canton du Valais, A._ a été dénoncé auprès de la Chambre de surveillance des avocats valaisans (ci-après: la Chambre de surveillance) pour les faits survenus le 11 avril 2019.
Invité à se déterminer sur les dénonciations susmentionnées, l'intéressé a, par courrier du 15 juillet 2019, contesté toute violation intentionnelle d'une règle de déontologie, tout en précisant qu'il admettait cependant "qu'il aurait dû garder son calme, faire porter ses remarques au procès-verbal et s'abstenir de remarques à l'égard de son confrère nonobstant les écrits de ce dernier", en ajoutant que, si un "avertissement ou un blâme s'impos[ait] au regard de l'ensemble de la situation, [il] l'acceptera[it] bien entendu".
B.
Par ordonnance du 8 août 2019, le Président de la Chambre de surveillance a ouvert une procédure disciplinaire à l'encontre de A._, l'informant que les faits dénoncés étaient susceptibles de constituer une violation du devoir de diligence de l'avocat.
Par décision du 4 février 2020, la Chambre de surveillance a reconnu A._ coupable de violation de l'art. 12 let. a de la loi sur les avocats et lui a infligé une amende de 3'000 fr.
L'intéressé a formé auprès du Tribunal cantonal du canton du Valais, en sa qualité d'Autorité cantonale de surveillance des avocats (ci-après: le Tribunal cantonal), un recours contre cette décision. Par jugement du 12 mars 2021, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens "à la charge du fisc valaisan", d'annuler le jugement du Tribunal cantonal du 12 mars 2021 et de ne prononcer aucune sanction disciplinaire à son encontre; subsidiairement, d'annuler le jugement attaqué et de prononcer un avertissement à son encontre.
Le Tribunal cantonal et l'Office fédéral de la justice renoncent à se déterminer sur le recours, le premier se référant aux considérants de son jugement.

Considérant en droit :
1.
Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61), qui relève du droit public au sens de l'<ref-law>. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte. Au surplus, le recours a été déposé en temps utile compte tenu des féries (art. 46 al. 1 let. a et 100 al. 1 LTF) et dans les formes requises (<ref-law>), par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est par conséquent recevable et il convient d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. En particulier, il revoit librement le point de savoir s'il y a eu violation des règles professionnelles figurant à l'<ref-law> en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits (<ref-ruling> consid. 4.2).
2.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2; <ref-ruling> consid. 6). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1).
En l'espèce, le recourant présente une argumentation partiellement appellatoire, en complétant librement l'état de fait retenu dans l'arrêt entrepris, comme il le ferait devant une juridiction d'appel, ce que le Tribunal fédéral n'est pas (cf. arrêt 2C_782/2020 du 26 mai 2021 consid. 2 et les arrêts cités). Il n'en sera dès lors pas tenu compte. Il en ira de même s'agissant des critiques qu'il formule directement à l'encontre des faits tels que retenus par la Chambre de surveillance dans sa décision du 4 février 2020, l'intéressé méconnaissant le principe de l'effet dévolutif complet du recours au Tribunal cantonal (cf. arrêt 2C_133/2020 du 15 juillet 2020 consid. 3.3 et l'arrêt cité). Seuls les griefs suffisamment motivés en lien avec l'établissement des faits par le Tribunal cantonal seront donc examinés (cf. infra consid. 3).
3.
Le recourant, sans citer de base légale, invoque à plusieurs reprises un établissement inexact des faits et, implicitement, une appréciation arbitraire des preuves (cf. consid. 2.2).
3.1. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3.1).
3.2. En l'occurrence, le recourant reproche à l'autorité précédente d'avoir retenu, "sans preuve aucune" respectivement en "accord[ant] plein crédit à la version des inspecteurs", qu'il se serait fortement emporté lors de l'audition du 11 avril 2019 et qu'il aurait eu des paroles désobligeantes à l'égard de ceux-ci, alors que, selon l'intéressé, ces faits auraient été catégoriquement infirmés par l'interprète présent à l'audition. Il reproche en outre au Tribunal cantonal d'avoir écarté de manière arbitraire le fait qu'il avait été traité de "guignol" par l'avocat adverse au cours de l'audition litigieuse.
Les critiques sont à la limite de la témérité. Il ressort en effet de la déposition de l'interprète que celui-ci a confirmé que le recourant était "vraiment très énervé" et que, même si les inspecteurs s'étaient également "énervés contre l'attitude [du recourant]", ceux-ci n'avaient "jamais eu une parole qui aurait pu l'énerver" et qu'il n'y avait "pas eu de paroles désobligeantes" lors de leurs interventions. Les agents avaient d'ailleurs dû demander "deux ou trois fois" à l'intéressé de se calmer, en vain. Les allégations du recourant sont d'autant moins crédibles que celui-ci, dans son courrier du 15 juillet 2019, a reconnu qu'il "aurait dû garder son calme", calme qu'il conteste pourtant à présent de manière contradictoire avoir perdu. Par ailleurs, dans la mesure où l'interprète a déclaré qu'il "ne [se] rapell[ait] pas" si l'intéressé avait traité les policiers de "cow-boys", on ne voit pas, et le recourant ne le démontre pas non plus, en quoi le Tribunal cantonal aurait fait preuve d'arbitraire en considérant que, faute d'avoir été formellement réfutée par le témoin, l'utilisation de ce terme par le recourant était envisageable, de sorte qu'il n'existait aucun motif objectif de mettre en doute la version des policiers quant au comportement de l'intéressé. Au demeurant, ce dernier ne conteste pas avoir déclaré aux inspecteurs qu'ils ne "touchaient pas le puck" en matière judiciaire, expression qui peut sans arbitraire être qualifiée de désobligeante en ce qu'elle insinue que les intéressés ne comprenaient rien en matière judiciaire. Enfin, s'agissant de l'injure de "guignol" que l'avocat adverse aurait proférée à l'encontre du recourant, force est de constater que le Tribunal cantonal n'a pas, contrairement à ce qu'affirme le recourant, écarté celle-ci, mais s'est contenté de souligner que l'interprète avait dit ne pas avoir entendu le premier avocat traiter le second de la sorte.
Le recourant reproche, pour le surplus, à l'autorité précédente de ne pas avoir suffisamment donné d'importance au fait qu'il avait déjà eu maille à partir avec les inspecteurs ayant mené l'audition, puisque l'un d'eux avait participé, deux ans auparavant, à la perquisition de son domicile et de son étude et au fait qu'il était également en conflit avec l'avocat de la partie adverse depuis 2018. Il considère que ces éléments expliquaient le climat tendu lors de l'audition et qu'il ne pouvait ainsi pas en être tenu pour l'unique responsable. N'en déplaise au recourant, le Tribunal cantonal a fait état de ces éléments dans son raisonnement, mais n'en a pas donné une portée déterminante permettant de justifier le comportement de l'intéressé sous l'angle de l'<ref-law>. Savoir si cette appréciation est ou non correcte relève de l'application du droit et non de l'appréciation des preuves et sera examiné ci-après.
3.3. Dans ces circonstances, le grief d'arbitraire dans l'établissement des faits et l'appréciation des preuves ne peut qu'être écarté. La Cour de céans se fondera ainsi exclusivement, dans la suite de son raisonnement, sur les faits ressortant de l'arrêt entrepris.
4.
Sur le fond, le recourant, citant l'<ref-law>, conteste que les faits qui lui sont reprochés constituent des manquements à son devoir de diligence.
4.1. L'<ref-law> énonce les règles professionnelles auxquelles l'avocat est soumis. Celui-ci doit notamment exercer sa profession avec soin et diligence (<ref-law>). Cette disposition constitue une clause générale qui permet d'exiger de l'avocat qu'il se comporte correctement dans l'exercice de sa profession. Elle ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais comprend aussi les relations avec les confrères et les autorités. L'<ref-law> suppose l'existence d'un manquement significatif aux devoirs de la profession (<ref-ruling> consid. 4.1 et les arrêts cités)
Le premier devoir professionnel de l'avocat consiste à défendre les intérêts de ses clients. Pour ce faire, il dispose d'une large marge de manoeuvre, afin de déterminer quels sont les moyens et les stratégies qui, selon lui, sont les plus aptes à réaliser ce but (<ref-ruling> consid. 4.3; <ref-ruling> consid. 1.3.2). L'avocat peut défendre les intérêts de ses clients de manière vigoureuse et s'exprimer de manière énergique et vive. Il n'est pas tenu de choisir la formulation la plus mesurée à l'encontre de la partie adverse, ni de peser tous ses mots. Une certaine marge d'exagération, voire même de provocation, doit ainsi être acceptée (ATF <ref-ruling> consid. 1.3.2; <ref-ruling> consid. 3.2.2; arrêt 2C_243/2020 du 25 juin 2020 consid. 3.5.1 et les arrêts cités).
Tous les moyens ne sont toutefois pas permis. Un comportement inutilement agressif ne correspond pas à une manière d'exercer la profession avec soin et diligence au sens de l'<ref-law> (ATF <ref-ruling> consid. 3.2.2; arrêt 2C_243/2020 précité consid. 3.5.1 et l'arrêt cité). L'avocat assume une tâche essentielle à l'administration de la justice, en garantissant le respect des droits des justiciables, et joue ainsi un rôle important pour le bon fonctionnement des institutions judiciaires au sens large. Il est partant tenu de s'abstenir de tout acte susceptible de remettre en cause la confiance qui doit pouvoir être placée dans la profession et faire montre d'un comportement correct dans son activité (<ref-ruling> consid. 4.3 et les arrêts cités; <ref-ruling> consid. 3.2.2). Il doit contribuer à ce que les conflits juridiques se déroulent de manière appropriée et professionnelle et s'abstenir de tenir des propos inutilement blessants (ATF <ref-ruling> consid. 1.3.2; arrêt 2C_307/2019 du 8 janvier 2020 consid. 5.1.3 et les arrêts cités). L'avocat n'agit pas dans l'intérêt de son client s'il se livre à des attaques excessives inutiles, susceptibles de durcir les fronts et de conduire à une escalade dans le conflit (ATF <ref-ruling> consid. 3.2.2; arrêts 2C_243/2020 précité consid. 3.5.1; 2C_307/2019 précité consid. 5.1.3 et les arrêts cités). Dans ses contacts avec la partie adverse, ainsi qu'avec ses représentants, l'avocat doit s'abstenir de prononcer des attaques personnelles, des diffamations ou des allégations injurieuses. S'il peut adopter un comportement énergique et s'exprimer de façon vigoureuse, il ne doit pas pour autant offenser inutilement la partie adverse. Le litige ne doit pas non plus prendre une tournure personnelle entre les représentants des parties. Une telle attitude est de nature à entraver le bon fonctionnement de la justice et, surtout, à mettre en péril la protection efficace des intérêts du client (cf. ATF <ref-ruling> consid. 1.3.2; arrêt 2C_307/2019 précité consid. 5.1.3 et les arrêts cités).
4.2. En l'occurrence, il ressort des constatations non arbitraires de l'arrêt entrepris (cf. supra consid. 3) que le recourant a, lors de l'audition du 11 avril 2019, perdu son sang-froid et s'est emporté de façon véhémente contre les inspecteurs menant celle-ci, traitant ces derniers de "cow-boys" et leur reprochant de ne "pas toucher le puck" en matière judiciaire, avant de traiter l'avocat de la partie adverse de "pantin" ou de "guignol" et de "fils à papa".
4.3. Le recourant justifie son comportement en affirmant que celui-ci s'était avéré nécessaire pour préserver les intérêts juridiques de sa cliente, en particulier son droit au silence au sens de l'<ref-law>. Il estime en outre que si les agents n'avaient pas, au début de l'audition, omis d'informer sa cliente des infractions qui lui étaient reprochées, la présente procédure "n'aurait pas vu le jour". Il se plaint également d'un manque d'égards de leur part constitutif, selon lui, d'une violation de l'art. 9 [recte: art. 8] du Code suisse de déontologie édicté par la Fédération Suisse des Avocats (ci-après: CSD), du fait qu'ils lui avaient enjoint de quitter la salle d'audition en ces termes: "Me A._, dehors". Enfin, il considère que la présence d'un des agents ayant procédé, dans le cadre d'une autre procédure, à la perquisition de son domicile et de son étude, ainsi que les attaques personnelles qu'il avait subies de la part de l'avocat adverse dans des courriers rédigés en 2018 et 2019, auraient contribué à tendre l'atmosphère de l'audition et à provoquer ainsi un évènement "regrettable" mais "dont les responsabilités étaient clairement partagées". En tout état de cause, il estime que son comportement lors de l'audition litigieuse ne prêtait pas le flanc à la critique.
4.4. L'intéressé perd de vue qu'il ne lui est pas reproché, dans la présente affaire, d'avoir demandé aux inspecteurs qu'ils communiquent à sa cliente les chefs de prévention qui pesaient sur celle-ci, pas plus qu'il ne lui est fait grief d'avoir enjoint à sa cliente de ne plus répondre aux questions des intéressés. C'est uniquement son attitude véhémente et ses propos désobligeants, pour ne pas dire insultants, tenus à l'encontre des inspecteurs et de son confrère qui ont été considérés comme violant le devoir de diligence de l'avocat.
Sous cet angle, on ne perçoit aucune utilité dans la bonne défense des intérêts d'un client à se comporter comme l'a fait le recourant. Certes, le fait pour les inspecteurs de ne pas avoir, au début de l'audition litigieuse, informé la prévenue des infractions qui lui étaient reprochées constitue une violation de l'<ref-law> et a d'ailleurs conduit à l'inexploitabilité de ladite audition (<ref-law>). Il n'appartenait en outre pas auxdits agents, compte tenu du droit du prévenu de refuser de déposer selon l'<ref-law>, de dire à la cliente du recourant qu'elle devait répondre à leurs questions, alors que ce dernier lui avait précisé qu'elle n'était pas tenue de le faire. Ces vices procéduraux ne lui permettaient toutefois pas de mettre en cause frontalement, de manière inutilement vexatoire et sans aucune nuance, les compétences professionnelles des inspecteurs et leur éthique professionnelle en leur disant qu'ils "ne touchaient pas le puck" en matière judiciaire et en les traitant de "cow-boys", terme faisant référence, selon le dictionnaire français Larousse en ligne, à un "policier casse-cou, à la gâchette facile". De tels propos dépassent la mesure dans laquelle l'avocat doit s'exprimer pour défendre les intérêts de ses clients. L'intéressé aurait bien plutôt dû, comme il l'a du reste reconnu dans son courrier du 15 juillet 2019, faire porter ses remarques au procès-verbal puis contester son exploitabilité en utilisant les voies de droit à sa disposition. Chercher par ailleurs à justifier son attitude en plaidant que l'un des inspecteurs avait participé à la perquisition, en 2017, de son domicile et de son étude, et que le climat de l'audition aurait ainsi d'emblée été tendu, est du reste malvenu, dès lors qu'il ressort des déclarations de l'interprète que celui-ci n'a perçu aucune inimitié particulière de la part des agents envers le recourant ou sa cliente, ni senti qu'ils étaient contre lui ou elle, et que l'audition avait au demeurant débuté de manière très calme (<ref-law>). Quoi qu'il en soit, au regard de la situation telle qu'elle se présentait au recourant au moment des faits, son comportement ne correspondait pas à une manière d'exercer la profession avec soin et diligence au sens de l'<ref-law>.
Quant aux qualificatifs blessants, voire injurieux s'agissant du terme "pantin", "guignol" ou "fils à papa" dont le recourant a affublé l'avocat adverse, ceux-ci sont tout simplement inacceptables. Comme l'a relevé à juste titre le Tribunal cantonal, le fait que l'avocat adverse ait, en 2018 et 2019, adressé au recourant des courriers contenant des insinuations désagréables à son égard ne justifiait pas pareille réaction. Le recourant se devait, là aussi, de défendre ses droits par les voies juridiques prévues à cet effet, notamment en dénonçant ces courriers à la Chambre de surveillance s'il estimait que ledit avocat avait violé ses devoirs professionnels ou attenté à son honneur, mais non pas de solder leur différent au cours de l'audition où était entendue sa cliente. Les attaques personnelles du recourant à l'encontre de son confrère n'étaient en aucun cas dans l'intérêt de ladite cliente, car elles étaient, d'une part, sans intérêt aucun pour la cause et, d'autre part, propres à entraîner un durcissement des fronts et une escalade dans le conflit qui opposait celle-ci au client de l'avocat adverse. En adoptant un comportement de nature à entraver le bon fonctionnement de la justice et, surtout, à mettre en péril la protection efficace des intérêts de sa cliente, le recourant a fait montre d'un manque de diligence professionnelle évident.
Pour le surplus, en tant que l'intéressé se plaint de la violation de l'art. 8 CSD, qui prévoit que l'avocat s'adresse aux autorités avec le respect qui leur est dû et attend d'elles les mêmes égards, au motif que l'un des inspecteurs lui aurait dit : "Me A._, dehors", outre que le CSD n'a de portée juridique qu'en ce qu'il permet de préciser les règles professionnelles auxquelles les avocats, et non les autorités, sont soumis en vertu de la LLCA (cf. <ref-ruling> consid. 4.4; <ref-ruling> consid. 3.1), on ne voit pas, et le recourant ne l'expose pas, en quoi cette injonction, certes ferme, constituerait un manque de respect envers l'intéressé. Ceci est d'autant moins le cas que ce dernier venait d'être averti, en vain, de se calmer, et que l'<ref-law> prévoit expressément l'expulsion de la salle d'audience comme possibilité de police de l'audience en cas de récidive de la personne qui trouble le déroulement de la procédure ou enfreint les règles de la bienséance. En tout état de cause, l'injonction de l'agent ne justifiait pas les propos tenus par la suite par l'intéressé, en ce que ceux-ci dépassaient clairement la mesure admissible, comme exposé ci-dessus.
4.5. Il découle de ce qui précède que le Tribunal cantonal a correctement appliqué le droit fédéral en considérant que le comportement adopté par le recourant lors de l'audition du 11 avril 2019 était constitutif d'une violation de l'<ref-law>.
5.
Le recourant s'en prend à la sanction prononcée. Il se plaint de la violation du principe de proportionnalité, reproche aux juges cantonaux d'avoir retenu qu'il avait porté atteinte à la crédibilité de la profession d'avocat et estime qu'un avertissement aurait été suffisant pour sanctionner ce qu'il qualifie d'"événement ponctuel". Il se prévaut enfin d'un arrêt 2A.310/2006 du 21 novembre 2006, en ce que celui-ci avait jugé proportionnée une amende de 3'000 fr. infligée à un avocat, alors que ce dernier avait violé par trois fois, de manière grave, ses devoirs professionnels.
5.1. Selon l'<ref-law>, en cas de violation de la loi, l'autorité de surveillance peut prononcer les mesures disciplinaires suivantes: l'avertissement, le blâme, une amende de 20'000 francs au plus, l'interdiction temporaire de pratiquer pour une durée maximale de deux ans ou l'interdiction définitive de pratiquer. L'amende peut être cumulée avec une interdiction de pratiquer (<ref-law>). L'amende fait partie des mesures disciplinaires d'importance moyenne. Elle sanctionne des manquements professionnels plus graves que le blâme, mais suppose, comme celui-ci, que les manquements constatés ne soient pas inconciliables avec la poursuite de l'activité professionnelle de l'avocat (arrêt 2C_167/2020 du 13 mai 2020 consid. 4.2 et l'arrêt cité). Quant à l'avertissement, il constitue la sanction la plus légère du catalogue prévu à l'<ref-law>.
La loi reconnaît à l'autorité compétente en matière disciplinaire une certaine marge d'appréciation (arrêt 2C_988/2017 du 19 septembre 2018 consid. 6.1, non publié in <ref-ruling>). La décision de l'autorité de surveillance doit toutefois toujours respecter les principes de l'égalité de traitement, de la proportionnalité et de l'interdiction de l'arbitraire (arrêt 2C_243/2020 du 26 juin 2020 consid. 4.1 et les arrêts cités). La prise en compte des antécédents de l'avocat mis en cause est non seulement admissible (arrêt 2A.560/2004 du 1er février 2005 consid. 6; cf. aussi arrêt 2C_167/2020 du 13 mai 2020 consid. 4.2) mais elle s'impose.
5.2. En l'espèce, au regard des faits qui sont reprochés au recourant, on ne saurait suivre celui-ci lorsqu'il prétend ne pas avoir commis de manquement significatif aux devoirs de la profession d'avocat. Par conséquent, le prononcé d'une sanction est conforme au droit fédéral dans son principe.
Quant à l'amende de 3'000 fr. infligée au recourant, l'autorité précédente a relevé que, par son comportement coupable, l'intéressé avait troublé la bonne marche de l'instruction pénale ouverte contre sa cliente et le fonctionnement correct des institutions judiciaires au sens large, portant ainsi atteinte à la crédibilité de l'ensemble de la profession. Il avait également mis en péril les intérêts de sa mandante. Enfin, sur la seule année 2016, il avait violé à trois reprises son devoir de diligence, alors qu'il n'était inscrit au barreau que depuis 2014, et avait déjà été condamné à une sanction disciplinaire sous la forme d'une amende de 1'000 fr. Sur le vu de ces éléments, c'est à bon droit que le Tribunal cantonal a retenu que la faute du recourant ne pouvait être qualifiée de légère. Le seul fait, pour le recourant, de qualifier le raisonnement de l'autorité précédente de "cocasse" ne suffit pas à démontrer en quoi celle-ci aurait outrepassé la marge d'appréciation qui était la sienne. En outre, force est de relever que l'intéressé n'a cessé, y compris devant le Tribunal fédéral, de contester les reproches formulés, allant jusqu'à affirmer que son comportement ne prêtait pas le flanc à la critique. Sa prise de conscience est ainsi inexistante. Enfin, c'est en vain qu'il tente de tirer argument de l'arrêt 2A.310/2006, ne serait-ce que parce que l'avocat concerné avait déjà été sanctionné d'une amende de 3'000 fr. après avoir violé à une seconde reprise - et non pas uniquement à une troisième reprise, comme le prétend à tort le recourant - les règles professionnelles de l'avocat.
5.3. Dans ces circonstances, le Tribunal cantonal n'a pas excédé son pouvoir d'appréciation en condamnant le recourant à une amende de 3'000 fr., plutôt qu'en prononçant l'avertissement évoqué par ce dernier. La sanction prononcée n'apparaît, dans les circonstances retenues ci-avant, ni arbitraire, ni contraire au principe de proportionnalité ou à celui de l'égalité de traitement.
6.
Les considérants qui précèdent conduisent au rejet du recours.
7.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Chambre de surveillance des avocats, au Tribunal cantonal du canton du Valais, Cour de droit public, et à l'Office fédéral de la justice.
Lausanne, le 24 août 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Rastorfer