Faits : A. A._ est avocat dans le canton de Vaud. Il défend les intérêts de B.E._ et C.E._ dans un litige successoral qui les oppose à leur mère, D.E._, à la suite du décès de leur père E.E._. Dans ce litige, D.E._ a mandaté l'avocat valaisan F._ le 29 avril 2015, mais a résilié le mandat le 5 mai 2015 en raison de la teneur d'un courrier qu'il avait adressé à ses filles, qu'elle désapprouvait. Après avoir consulté l'avocat G._, elle a aussi résilié le mandat de cet avocat le 25 janvier 2017, avant de confier à nouveau la défense de ses intérêts à F._. Le 13 février 2017, F._ a adressé une lettre à A._, qui y a répondu le 27 février 2017. Le 8 mars 2017, A._ a dénoncé F._ au Bâtonnier de l'Ordre des avocats valaisans en raison de son courrier du 13 février 2017. Il reprochait à F._ d'avoir mentionné dans cette lettre qu'il avait fait preuve d'inconvenance en appelant directement D.E._, alors que G._ l'avait invité à le faire, puisque son mandat était résilié. F._ ne s'étant pas rendu à la séance de conciliation agendée par le Bâtonnier valaisan le 29 mars 2017, A._ s'est vu délivrer une autorisation de procéder, à laquelle il n'a pas donné suite. Le 10 mars 2017, F._ a pour sa part dénoncé A._ auprès du Secrétariat général de l'Ordre judiciaire vaudois en raison des propos, qu'il a qualifiés d'outranciers, que A._ avait tenus à son encontre dans son courrier du 27 février 2017. Aucune conciliation n'a eu lieu, F._ ayant refusé de rencontrer son confrère. La Chambre des avocats du canton de Vaud (ci-après: la Chambre des avocats) a ouvert une enquête disciplinaire à l'encontre A._ et désigné l'avocate H._ comme membre enquêtrice. Après avoir entendu A._ le 11 juillet 2017, l'enquêtrice a rendu un rapport le 16 août 2017, au terme duquel elle a conclu que le comportement de A._ était constitutif d'une violation des règles professionnelles de l'avocat et qu'une sanction devait être prononcée à son encontre par l'autorité de surveillance. A._ a demandé en vain la récusation de l'enquêtrice jusqu'au Tribunal fédéral (cf. arrêt 2C_238/2018 du 28 mai 2018). Le 31 août 2017, A._ s'est déterminé par écrit sur le rapport du 16 août 2017 et a produit plusieurs pièces. Il a demandé un délai supplémentaire pour présenter des déterminations complémentaires et a requis l'audition de ses clientes, de la fille de chacune d'elle et de deux confrères valaisans. Le 6 septembre 2017, la Présidente de la Chambre des avocats a accepté la prolongation de délai, mais rejeté ses requêtes d'audition de témoins. A._ a été entendu par la Chambre des avocats le 23 octobre 2017. B. Par décision du 23 octobre 2017, notifiée à A._ le 26 février 2018, la Chambre des avocats a constaté que A._ avait violé l'art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61) et prononcé un avertissement à son encontre au titre de sanction. Par arrêt du 22 février 2019, le Tribunal cantonal a rejeté le recours interjeté par A._ et confirmé la décision de la Chambre des avocats du 26 février 2018 (recte: 23 octobre 2017). C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, de réformer l'arrêt du 22 février 2019 du Tribunal cantonal en ce sens qu'il est constaté que l'art. 12 let. a LLCA n'a pas été violé et qu'aucune mesure disciplinaire n'est prononcée contre lui; subsidiairement, d'annuler l'arrêt attaqué en ce sens qu'aucune mesure disciplinaire n'est prononcée contre lui; plus subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal a renvoyé à son arrêt et conclu au rejet du recours. La Chambre des avocats a renoncé à se déterminer. Le 6 novembre 2019, A._ a fait savoir au Tribunal fédéral qu'il avait l'intention de requérir du Tribunal cantonal de manière imminente, le 8 ou le 11 novembre 2019, la révision de l'arrêt attaqué. Il estimait dès lors " opportun " que le Tribunal fédéral sursoie d'emblée à statuer, tout en reconnaissant qu'une telle décision nécessitait le dépôt préalable de la requête de révision annoncée.