Faits :
A.
A._ est avocat dans le canton de Vaud. Il défend les intérêts de B.E._ et C.E._ dans un litige successoral qui les oppose à leur mère, D.E._, à la suite du décès de leur père E.E._. Dans ce litige, D.E._ a mandaté l'avocat valaisan F._ le 29 avril 2015, mais a résilié le mandat le 5 mai 2015 en raison de la teneur d'un courrier qu'il avait adressé à ses filles, qu'elle désapprouvait. Après avoir consulté l'avocat G._, elle a aussi résilié le mandat de cet avocat le 25 janvier 2017, avant de confier à nouveau la défense de ses intérêts à F._.
Le 13 février 2017, F._ a adressé une lettre à A._, qui y a répondu le 27 février 2017.
Le 8 mars 2017, A._ a dénoncé F._ au Bâtonnier de l'Ordre des avocats valaisans en raison de son courrier du 13 février 2017. Il reprochait à F._ d'avoir mentionné dans cette lettre qu'il avait fait preuve d'inconvenance en appelant directement D.E._, alors que G._ l'avait invité à le faire, puisque son mandat était résilié. F._ ne s'étant pas rendu à la séance de conciliation agendée par le Bâtonnier valaisan le 29 mars 2017, A._ s'est vu délivrer une autorisation de procéder, à laquelle il n'a pas donné suite.
Le 10 mars 2017, F._ a pour sa part dénoncé A._ auprès du Secrétariat général de l'Ordre judiciaire vaudois en raison des propos, qu'il a qualifiés d'outranciers, que A._ avait tenus à son encontre dans son courrier du 27 février 2017. Aucune conciliation n'a eu lieu, F._ ayant refusé de rencontrer son confrère. La Chambre des avocats du canton de Vaud (ci-après: la Chambre des avocats) a ouvert une enquête disciplinaire à l'encontre A._ et désigné l'avocate H._ comme membre enquêtrice.
Après avoir entendu A._ le 11 juillet 2017, l'enquêtrice a rendu un rapport le 16 août 2017, au terme duquel elle a conclu que le comportement de A._ était constitutif d'une violation des règles professionnelles de l'avocat et qu'une sanction devait être prononcée à son encontre par l'autorité de surveillance. A._ a demandé en vain la récusation de l'enquêtrice jusqu'au Tribunal fédéral (cf. arrêt 2C_238/2018 du 28 mai 2018).
Le 31 août 2017, A._ s'est déterminé par écrit sur le rapport du 16 août 2017 et a produit plusieurs pièces. Il a demandé un délai supplémentaire pour présenter des déterminations complémentaires et a requis l'audition de ses clientes, de la fille de chacune d'elle et de deux confrères valaisans.
Le 6 septembre 2017, la Présidente de la Chambre des avocats a accepté la prolongation de délai, mais rejeté ses requêtes d'audition de témoins. A._ a été entendu par la Chambre des avocats le 23 octobre 2017.
B.
Par décision du 23 octobre 2017, notifiée à A._ le 26 février 2018, la Chambre des avocats a constaté que A._ avait violé l'art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61) et prononcé un avertissement à son encontre au titre de sanction.
Par arrêt du 22 février 2019, le Tribunal cantonal a rejeté le recours interjeté par A._ et confirmé la décision de la Chambre des avocats du 26 février 2018 (recte: 23 octobre 2017).
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, de réformer l'arrêt du 22 février 2019 du Tribunal cantonal en ce sens qu'il est constaté que l'<ref-law> n'a pas été violé et qu'aucune mesure disciplinaire n'est prononcée contre lui; subsidiairement, d'annuler l'arrêt attaqué en ce sens qu'aucune mesure disciplinaire n'est prononcée contre lui; plus subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal a renvoyé à son arrêt et conclu au rejet du recours. La Chambre des avocats a renoncé à se déterminer.
Le 6 novembre 2019, A._ a fait savoir au Tribunal fédéral qu'il avait l'intention de requérir du Tribunal cantonal de manière imminente, le 8 ou le 11 novembre 2019, la révision de l'arrêt attaqué. Il estimait dès lors " opportun " que le Tribunal fédéral sursoie d'emblée à statuer, tout en reconnaissant qu'une telle décision nécessitait le dépôt préalable de la requête de révision annoncée.

Considérant en droit :
1.
Le présent litige, qui concerne une sanction disciplinaire infligée à un avocat en vertu de LLCA, relève du droit public au sens de l'<ref-law>. Le recours est dirigé contre une décision finale (<ref-law>), qui a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte. Le point de savoir si le procédé utilisé par le recourant pour démontrer le respect du délai de recours, et transmis postérieurement audit délai, peut ou non être admis, comme l'a déjà fait le Tribunal fédéral dans d'autres cas, peut demeurer indécis compte tenu de l'issue du litige. Au surplus, le recours a été déposé dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Le recours est par conséquent recevable.
2.
Même si l'on devait interpréter la lettre que le recourant a adressée à la Cour de céans le 6 novembre 2019 comme constituant une requête formelle de suspension de cause, ce qui n'est pas d'emblée évident au vu des formulations qu'elle contient, il n'y a pas lieu de traiter cette requête, puisque le recourant n'a pas produit la demande de révision sur laquelle elle était censée s'appuyer. Il suffit dès lors de relever qu'au vu de l'absence de toute preuve attestant du dépôt de la requête de révision annoncée, il n'y a d'emblée aucun motif de surseoir à statuer en l'espèce.
3.
D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. En vertu de l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit alors, sous peine d'irrecevabilité, contenir un exposé succinct des droits et principes constitutionnels violés et préciser de manière claire et détaillée en quoi consiste la violation (cf. <ref-ruling> consid. 1.2.2 p. 286; <ref-ruling> consid. 2.2 p. 232 s.).
4.
4.1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375).
4.2. En l'espèce, le recourant fait valoir que les juges précédents ont arbitrairement omis de tenir compte de faits pertinents et qu'ils ont refusé de mettre en oeuvre des mesures d'instruction qui devaient contribuer à prouver que tous les propos qu'il avait tenus dans son courrier du 27 février 2017 étaient exacts et nécessaires. Or, contrairement à ce que soutient le recourant, et comme exposé ci-après (cf. infra consid. 7.3.2-7.3.3), ces faits ne sont pas susceptibles d'influer sur le sort de la cause. Au surplus, la Cour de céans ne tiendra pas compte, en tant qu'ils ne ressortent pas de l'arrêt attaqué, des faits allégués de manière appellatoire dans le mémoire de recours.
5.
Le recourant fait valoir que le Tribunal fédéral doit annuler l'arrêt attaqué en application de l'<ref-law>. En effet, on ne parviendrait pas, à sa lecture, à saisir quels sont les faits que les juges précédents ont tenus pour établis ou non, contrairement à l'art. 112 al. 1 let a et b LTF, qui prévoit notamment que les décisions qui peuvent faire l'objet d'un recours doivent contenir les motifs déterminants de fait et de droit.
Ce grief est manifestement infondé. L'arrêt attaqué fait état d'une manière dénuée de toute ambiguïté des faits que les juges précédents ont retenus pour statuer, de sorte que la Cour de céans est parfaitement en mesure d'examiner sa conformité au droit. Il n'y a donc aucun motif de recourir à l'<ref-law>.
6.
Sous l'angle du droit d'être entendu, le recourant invoque l'art. 6 CEDH. Il se demande si, contrairement à la pratique actuelle, il ne faudrait pas considérer que l'avertissement disciplinaire qui lui a été infligé entre dans le champ d'application de cette disposition, avec pour conséquence que le Tribunal cantonal aurait dû donner suite à sa requête d'être entendu en audience publique.
De jurisprudence constante, l'avertissement prononcé au titre de sanction disciplinaire, qui n'affecte pas l'exercice de la profession, n'entre pas dans le champ de protection de l'art. 6 par. 1 CEDH (cf. arrêts 2C_119/2016 du 26 septembre 2016 consid. 8.2.1; 2C_782/2015 du 19 janvier 2016 consid. 3.1; 2C_342/2008 du 19 décembre 2008 consid. 2.3.3; 2A.191/2003 du 22 janvier 2004 consid. 7.2).
Pour autant qu'il faille comprendre de son propos que le recourant sollicite un changement de jurisprudence, il n'explique pas en quoi les conditions d'un tel changement seraient réunies (sur ces conditions, cf. <ref-ruling> consid. 6.1 p. 313; <ref-ruling> consid. 2.2.2 p. 273; <ref-ruling> consid. 6.1 p. 361). Il n'y a donc pas lieu de s'attarder plus avant sur ce point.
7.
Le litige porte sur la question de savoir si les propos que A._ a tenus à l'encontre de son confrère F._ dans son courrier du 27 février 2017 sont constitutifs d'une violation de l'<ref-law>.
7.1. L'<ref-law> énonce les règles professionnelles auxquelles l'avocat est soumis. Selon l'<ref-law>, il doit exercer sa profession avec soin et diligence.
7.1.1. L'<ref-law> constitue une clause générale qui permet d'exiger de l'avocat qu'il se comporte correctement dans l'exercice de sa profession. Sa portée n'est pas limitée aux rapports professionnels de l'avocat avec ses clients, mais comprend aussi les relations avec les confrères et les autorités (<ref-ruling> consid. 4.1 p. 476; <ref-ruling> consid. 3.2 p. 276).
7.1.2. Le premier devoir professionnel de l'avocat consiste à défendre les intérêts de ses clients et il dispose d'une large marge de manoeuvre pour déterminer quels sont les moyens et les stratégies qui, selon lui, sont les plus aptes à réaliser ce but (<ref-ruling> consid. 4.3 p. 477; <ref-ruling> consid. 1.3.2 p. 158). L'avocat peut défendre les intérêts de ses clients de manière vigoureuse et s'exprimer de manière énergique et vive. Il n'est pas tenu de choisir la formulation la plus mesurée à l'encontre de la partie adverse, ni de peser tous ses mots. Une certaine marge d'exagération, voire même de provocation, doit ainsi être acceptée (ATF <ref-ruling> consid. 1.3.2 p. 158; <ref-ruling> consid. 3.2.2 p. 278; arrêts 2C_507/2019 du 14 novembre 2019 consid. 5.1.3; 2C_907/2017 du 13 mars 2018 consid. 3.2, traduit in SJ 2019 I 76; 2C_620/2016 du 30 novembre 2016 consid. 2.2; 2C_103/2016 du 30 août 2016 consid. 3.2.1).
7.1.3. Tous les moyens ne sont toutefois pas permis. Un comportement inutilement agressif ne correspond pas à une manière d'exercer la profession avec soin et diligence au sens de l'<ref-law> (ATF <ref-ruling> consid. 3.2.2 p. 277; arrêt 2C_507/2019 précité consid. 5.1.3). L'avocat assume une tâche essentielle à l'administration de la justice, en garantissant le respect des droits des justiciables, et joue ainsi un rôle important pour le bon fonctionnement des institutions judiciaires au sens large. Il est partant tenu de s'abstenir de tout acte susceptible de remettre en cause la confiance qui doit pouvoir être placée dans la profession et faire montre d'un comportement correct dans son activité (<ref-ruling> consid. 4.3 p. 477 et les références; <ref-ruling> consid. 3.2.2 p. 277 s.; arrêts précités 2C_507/2019 consid. 5.1.3; 2C_103/2016 consid. 3.2.2). Il doit contribuer à ce que les conflits juridiques se déroulent de manière appropriée et professionnelle et s'abstenir de tenir des propos inutilement blessants (ATF <ref-ruling> consid. 1.3.2 p. 158; arrêts 2C_620/2016 du 30 novembre 2016 consid. 2.2; 2C_103/2016 précité consid. 3.2.2). L'avocat n'agit pas dans l'intérêt de son client s'il se livre à des attaques excessives inutiles, susceptibles de durcir les fronts et de conduire à une escalade dans le conflit (ATF <ref-ruling> consid. 3.2.2 p. 277; arrêts précités 2C_507/2019 consid. 5.1.3; 2C_103/2016 consid. 3.2.2).
Dans ses contacts avec la partie adverse, ainsi qu'avec ses représentants, l'avocat doit s'abstenir de prononcer des attaques personnelles, des diffamations ou des allégations injurieuses. S'il peut adopter un comportement énergique et s'exprimer de façon vigoureuse, il ne doit pas pour autant offenser inutilement la partie adverse (cf. ATF <ref-ruling> consid. 1.3.2 p. 158; arrêts 2C_103/2016 précité consid. 3.2.3 et les références; 2C_1138/2013 du 5 septembre 2014 consid. 2.2; 2A.168/2005 du 6 septembre 2005 consid. 2.2.3). Le litige ne doit pas non plus prendre une tournure personnelle entre les représentants des parties. Un telle attitude est de nature à entraver le bon fonctionnement de la justice et, surtout, à mettre en péril la protection efficace des intérêts du client (arrêt 2A.168/2005 précité consid. 2.2.3 et les références). Selon la jurisprudence, on peut par ailleurs attendre d'un avocat qu'il fasse preuve de plus de retenue lorsqu'il s'exprime par écrit qu'oralement, puisqu'il a alors le temps de peser ses mots, de réfléchir à leur portée et d'éviter les formulations excessives (arrêts 2C_103/2016 précité consid. 3.2.3; 2C_652/2014 du 24 décembre 2014 consid.3.3 et les références, in Pra 2015/94 p. 746).
7.1.4. L'autorité de surveillance doit faire preuve d'une certaine réserve dans son appréciation du comportement de l'avocat (arrêt 2C_103/2016 précité consid. 3.2.3). L'<ref-law> est une disposition subsidiaire. Pour que le comportement d'un avocat justifie une sanction au sens de cette disposition, la violation du devoir de prudence doit atteindre une certaine gravité qui, au-delà des sanctions relevant du droit des mandats, nécessite, dans l'intérêt public, l'intervention proportionnée de l'Etat (arrêt 2C_933/2018 du 25 mars 2019 consid. 5.1). Le comportement sanctionné par l'<ref-law> suppose partant un manquement significatif aux devoirs de la profession, ce que le Tribunal fédéral revoit librement, en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits (<ref-ruling> consid. 4 p. 476 et les références; arrêt 2C_507/2019 précité consid. 5.1.2).
7.2. En l'espèce, les juges précédents ont estimé que A._ avait violé l'<ref-law> par les propos suivants qu'il a adressés à F._ dans sa lettre du 27 février 2017:
1. Pour rester polis, nous dirons qu'il apparaît que la maxime qui paraît présider à votre intervention en avril 2015 comme à celle d'aujourd'hui est la surabondance d'absurdités et de revirements, qu'une agressivité déchaînée - et plus que déplacée - peine à masquer. Cette agressivité dépasse en soit toutes les bornes.
2. A cette lecture, et au vu dossier, on peut comprendre ce qui s'est passé le 29 et le 30 avril 2015: vous vous êtes fait plaisir personnellement. Il est connu que vous portez une animosité personnelle (peut-être de la jalousie professionnelle) contre Me C.E._ (...). Vous avez agi selon vos propres désirs, par animosité personnelle envers Me C.E._ et pour vous amuser à semer la discorde au sein de la famille E._.
3. Nous ajouterons une chose : contrairement à votre pratique personnelle qui consiste à écrire aux particuliers non assistés d'un avocat sans les inviter à consulter un confrère (exemple : votre courrier du 29 avril 2015), les soussignés ont pour pratique constante d'inviter une partie non assistée à consulter (p. 4).
4. On ignorait alors que vous alliez inciter D.E._ à résilier le mandat de Me G._ pour empêcher la conclusion de cet accord.
5. Nous avons certes compris que votre approche est autre : faire régner la discorde dans la famille E._ paraît, pour vous, un but en soi. Vous souhaitez ardemment que des procédures aient lieu, et vous brandissez avec régal la menace de plaintes pénales, fondées sur des allégations relevant de l'imaginaire.
6. En bref, notre opinion est que vous défendez vos envies infiniment plus que les intérêts de votre mandante.
7. Vos propos sont donc faux. Ils font plus que friser le ridicule. Vous préférez construire votre position acrimonieuse sur un dossier " rêvé " par vous-même, plutôt que vous baser sur des faits.
8. Nous savons que vous êtes animé d'une passion pour les dénonciations de vos confrères. Des livres entiers ont été écrits à ce sujet.
9. Il est regrettable que vous ayez choisi d'empêcher cet accord favorable à votre mandante - et à l'harmonie familiale - d'être mis en oeuvre, en proférant pour ce faire des contre-vérités (...) La reprise de cause d'une procédure qui ne peut rien apporter d'utile à votre mandante relève aussi du pur gaspillage de ses ressources, et de la volonté de faire de la procédure pour de la procédure. Surtout, le sabotage du travail effectué par votre prédécesseur pendant 18 mois aboutira in fine à porter gravement atteinte aux intérêts de votre mandante. Le seul but que l'on perçoit est de nuire à la famille E._ dans son ensemble et de lui causer des frais.
Par cette lettre, A._ répondait au courrier du 13 février 2017 de F._, dans lequel cet avocat posait plusieurs questions et demandait des explications au sujet du sort de certains biens qui faisaient partie de la succession de feu E.E._.
7.3. Le Tribunal cantonal a considéré que le fait de qualifier " d'absurdités " ou " d'absurde pour tout juriste " des faits énumérés et des opinions juridiques autres que les siennes était inutilement blessant et inapproprié, puisqu'il n'y avait rien d'absurde à soulever la problématique que les filles de D.E._ se seraient attribué sans droit certains biens de la succession et de demander des explications à ce sujet. Affirmer que F._ " s'était fait plaisir " et qu'il était mû par sa volonté de nuire à sa cliente était attentatoire à la dignité de cet avocat. Sa remarque sur le fait que F._ avait pour pratique personnelle d'écrire aux particuliers non assistés sans les inviter à consulter un confrère n'était d'aucun intérêt pour la cause; même s'il s'était adressé à ses clientes les 29 et 30 avril 2015 sans les avoir invitées à consulter, parler de pratique sur la base de deux lettres était excessif. Reprocher à F._ d'avoir incité sa cliente à résilier le mandat de G._ pour empêcher la conclusion d'un accord sur la succession relevait de l'affirmation gratuite, qui mettait en doute sans fondement la dignité de ce mandataire. Soutenir que faire régner la discorde était un but en soi pour F._, qui " brandissait avec régal la menace de plaintes pénales " était offensant. Il fallait au contraire relever que, dans son courrier du 13 février 2017, F._ posait plusieurs questions qui n'étaient pas dénuées de pertinence. Mentionner que l'avis selon lequel F._ défendait " ses envies infiniment plus que les intérêts de [sa] mandante " était des propos graves, qui mettaient en cause la probité de son confrère sans justification. Soutenir que les propos de F._ étaient " faux ", qu'ils faisaient " plus que friser le ridicule " et que cet avocat avait préféré " construire une position acrimonieuse sur un dossier rêvé " plutôt que sur des faits était inutilement vexant. Affirmer qu'il était " animé d'une passion pour les dénonciations de ses confrères " était désobligeant. F._ n'avait du reste pas menacé C.E._ dans son courrier du 13 février 2017, mais avait posé des questions en citant sous toutes réserves des informations obtenues. Enfin, dire que les actes de F._ relevaient du " pur gaspillage " et d'un " sabotage " qui nuiraient gravement aux intérêts de sa propre cliente, dans le seul but de nuire à la famille E._ dans son ensemble et de lui causer des frais était offensant, car il laissait entendre que l'avocat n'agissait que dans son propre intérêt financier.
En définitive, selon les juges précédents, en écrivant ce courrier du 27 février 2017, A._ avait manqué de recul, outrepassé les limites de la liberté d'expression et envenimé la situation de manière contraire aux intérêts de ses mandantes, sans aucune justification valable. Son comportement était partant bien constitutif d'une violation de l'<ref-law>.
7.3.1. La conclusion à laquelle parvient le Tribunal cantonal ne peut qu'être confirmée. Au lieu de répondre aux questions que son confrère lui avait posées le 13 février 2017 pour, le cas échéant, désamorcer d'emblée les soupçons qu'il y exprimait, du reste sous toutes réserves, à l'encontre de ses clientes, A._ a mis en cause frontalement, de manière virulente et sans aucune nuance les compétences professionnelles de son confrère et son éthique professionnelle. Ces attaques étaient désobligeantes, gratuites et inutilement blessantes. Comme l'a relevé à juste titre le Tribunal cantonal, le fait que la lettre du 13 février 2017 de F._ ait contenu des insinuations désagréables à l'égard des clientes du recourant ne justifiait pas pareille réaction, ni le fait qu'avant l'intervention de F._, un projet de convention avait été proposé pour régler la succession. En outre, les attaques personnelles contre F._ n'étaient pas dans l'intérêt des clientes du recourant, car elles étaient propres à entraîner un durcissement des fronts et une escalade dans le conflit les opposant à leur mère, et ce d'autant plus que A._ n'apportait pas de réponse aux questions posées par F._.
7.3.2. Le recourant objecte que, pour juger s'il a violé l'<ref-law> dans son courrier du 27 février 2017, les juges précédents auraient dû examiner concrètement le bien-fondé des reproches qu'il y énonçait à l'encontre de F._ et les risques que le courrier du 13 février 2017 faisaient courir à ses clientes. Pour le démontrer, il présente, de manière purement appellatoire, une série d'éléments de fait. Outre que cette façon de faire n'est pas recevable devant le Tribunal fédéral (cf. supra consid. 4), le recourant perd de vue que le litige ne concerne pas l'appréciation du comportement de F._, mais celui du recourant. Les juges précédents n'avaient donc pas à investiguer sur le caractère bien-fondé ou non des critiques formulées par A._ pour déterminer si ce dernier avait violé ou non l'<ref-law>, mais pouvaient se limiter à analyser les termes utilisés par celui-ci. Au demeurant, imposer aux juges précédents la charge d'établir la vérité des critiques personnelles émises conduirait à admettre qu'un avocat peut s'exprimer sans aucune limite dans le ton, pour le seul motif que ses critiques seraient justifiées. Or, une telle conclusion ne serait pas compatible avec le devoir, rappelé ci-dessus, de l'avocat de conserver en tous temps une certaine distance et un comportement professionnel.
7.3.3. Le recourant reproche aussi au Tribunal cantonal d'avoir jugé les termes utilisés dans son courrier de manière abstraite, sans les replacer dans leur contexte. Ce reproche est infondé. Les juges précédents ont tenu compte du fait que la lettre du 13 février 2017 de F._ comportait des sous-entendus peu élégants, voire discourtois, et qu'elle n'était pas exempte de menaces à peine voilées de plainte pénale ou de dénonciations. A juste titre toutefois, ils ont rappelé que F._, mandaté par D.E._, était légitimé à demander des renseignements sur le sort des biens qui faisaient partie de la succession et que, même dans l'hypothèse où ce courrier du 13 février 2017 devait aussi contenir des propos constitutifs d'une violation de l'<ref-law>, ces circonstances ne donnaient de toute manière pas à A._ le droit de violer également cette disposition. En définitive, si A._ était d'avis que F._ avait un comportement contraire à l'éthique, il lui incombait alors de dénoncer ses méthodes à l'autorité de surveillance compétente. Or, le recourant avait certes dénoncé F._ au Bâtonnier valaisan, mais sur un autre point (cf. supra consid. A), et il n'a du reste pas donné suite à l'autorisation de procéder qui lui a été délivrée.
Enfin, c'est à tort que le recourant soutient à titre subsidiaire que ses propos n'étaient que des exagérations qui n'emportaient aucune violation de l'<ref-law>. Ils dépassent clairement la mesure admissible, comme exposé ci-dessus.
7.4. Il découle de ce qui précède que le Tribunal cantonal a correctement appliqué le droit fédéral en considérant que les propos tenus par le recourant dans son courrier du 27 février 2017 étaient constitutifs d'une violation de l'<ref-law>.
8.
En cas de violation d'une règle professionnelle, l'<ref-law> prévoit que l'autorité de surveillance cantonale peut prononcer à l'encontre d'un avocat, entre autres mesures disciplinaires, un avertissement. L'avertissement est la sanction la plus légère prévue à l'<ref-law>.
8.1. La loi reconnaît à l'autorité compétente en matière disciplinaire une certaine marge d'appréciation. Sa décision doit toutefois toujours respecter les principes de l'égalité de traitement, de la proportionnalité et de l'interdiction de l'arbitraire (cf. arrêt 2C_988/2017 du 19 septembre 2018 consid. 6.1 non publié in <ref-ruling> mais in Pra 2019/66 p. 658, et les références).
8.2. En l'occurrence, les juges précédents, reprenant la position de la Chambre des avocats, ont confirmé l'avertissement, tout en relevant que le recourant n'avait aucun antécédent disciplinaire et que la violation qui lui était reprochée était limitée au courrier du 27 février 2017. Sous l'angle de la proportionnalité, ils ont estimé que la sanction de l'avertissement était propre à atteindre le but d'intérêt public recherché, à savoir rappeler au recourant le respect de ses obligations professionnelles en toute circonstance et l'amener à adopter à l'avenir un comportement conforme aux exigences de la profession.
8.3. Le recourant évoque la liberté d'expression garantie à l'art. 10 CEDH. Il soutient que la décision attaquée revient à l'avoir " muselé " (recours p. 13) et qu'elle est contraire à la jurisprudence de la CourEDH et en particulier aux arrêts Nikula c. Finlande du 21 mars 2002 (requête n° 31611/96) et Morice c. France du 23 avril 2015 (requête n° 29369/10).
8.4. A supposer que le recourant formule, en lien avec l'art. 10 CEDH, un grief qui respecte les exigences de motivation accrues de l'<ref-law> (supra consid. 2), ce qui est douteux, celui-ci est de toute manière infondé.
8.5. Les droits fondamentaux, dont les avocats peuvent aussi se prévaloir dans le cadre de leur profession, peuvent être restreints s'il existe une base légale, si la restriction est justifiée par un intérêt public et qu'elle est proportionnée au but visé (art. 36 Cst.; cf. <ref-ruling> consid. 3a p. 420 s.; <ref-ruling> consid. 2 p. 318 s.; arrêt 2C_737/2008 du 8 avril 2009 consid. 3.1 et 3.2). L'art. 10 par. 2 CEDH fixe également les conditions dans lesquelles une atteinte à la liberté d'expression est admissible: elle doit être prévue par la loi, viser l'un des buts légitimes énumérés et être nécessaire dans une société démocratique pour atteindre ce but.
8.6. En l'occurrence, le recourant ne soutient à juste titre pas que l'<ref-law> ne constituerait pas une base légale suffisante pour limiter la liberté d'expression (cf. arrêt 2A.448/2003 consid. 7.3 et les références). S'agissant de la proportionnalité de la mesure, il a déjà été souligné que le comportement du recourant était excessif, inutilement blessant et contraire aux intérêts de ses clientes. En confirmant la sanction de l'avertissement, qui est la plus légère de celles prévues à l'<ref-law>, les juges précédents n'ont donc pas pris une mesure disproportionnée. Enfin, on ne voit pas en quoi le comportement du recourant aurait été justifié par un intérêt public; au contraire, il a méconnu les règles de comportement que les avocats doivent respecter et qui ont précisément été édictées dans l'intérêt public.
Au surplus, le recourant ne peut rien tirer des deux arrêts de la CourEDH qu'il invoque. L'arrêt Nikula c. Finlande concernait un avocat qui avait accusé, en cours d'audience, un procureur de comportement illégal. La CourEDH a jugé cette critique admissible, parce qu'elle portait uniquement sur la manière dont ce procureur s'était acquitté de ses fonctions, et non pas sur ses qualités professionnelles en général (cf. § 51 s.). Cet arrêt ne protège ainsi en rien les attaques personnelles auxquelles le recourant s'est livré à l'encontre de son confrère dans son courrier du 27 février 2017. Le recourant ne peut pas plus se fonder sur l'extrait de l'arrêt Morice c. France qu'il cite (§ 163: " Ainsi, la cour d'appel devait examiner les propos litigieux en tenant pleinement compte à la fois du contexte de l'affaire et du contenu de la lettre pris dans leur ensemble"), puisque ce contexte a dûment été pris en compte en l'espèce.
9.
Ce qui précède conduit au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Chambre des avocats du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 8 janvier 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens