Faits :
A.
A._ est notamment opposé, dans plusieurs procédures civiles et pénales, à C._, à la société D._ SA (anciennement E._ AG) et à la société F._ SA (anciennement F._ Holding SA). C._ est l'administrateur unique des sociétés D._ SA et F._ SA. Jusqu'en octobre 2013, il était également administrateur des sociétés A._ Holding SA et G._ SA, A._ lui ayant succédé à ce poste. Le 6 février 2017, C._ a été condamné par ordonnance pénale du ministère public compétent pour gestion déloyale au préjudice de ces deux dernières sociétés.
Le 13 octobre 2017, A._ a déposé auprès de la Chambre patrimoniale cantonale du canton de Vaud (ci-après: la Chambre patrimoniale) une demande en paiement dirigée contre C._, la société D._ SA, la société F._ SA et H._. Cette demande avait pour objet une inscription du demandeur au registre des actionnaires de la société D._ SA en qualité d'actionnaire pour deux tiers des actions, une action en enrichissement illégitime contre F._ SA et C._ tendant à récupérer des dividendes perçus depuis mai 2013, une action en paiement de dommages-intérêts pour acte illicite et violation de l'accord conclu lors de la liquidation d'une société simple à l'encontre de C._ et H._ et une action en responsabilité contre C._, tendant à indemniser la société D._ SA pour les préjudices que celui-ci lui a fait subir depuis mai 2013. Le 9 janvier 2018, A._ a sollicité de la Chambre patrimoniale qu'elle interdise à l'avocat B._ de procéder dans la cause précitée, cet avocat représentant les défendeurs. Cette requête a été transmise par la Chambre patrimoniale à la Chambre des avocats du canton de Vaud (ci-après: la Chambre des avocats) le 30 avril 2018. Le 25 mai 2018, A._ a demandé la récusation des membres de la Chambre des avocats ayant participé à une précédente procédure dans laquelle il avait requis l'interdiction de postuler de l'avocat B._. Il a également contesté la compétence de cette autorité pour statuer sur la capacité de postuler de cet avocat en faveur des défendeurs.
B.
Par décision du 20 juin 2018, la Chambre des avocats, après avoir admis sa compétence pour statuer et rejeté la requête de récusation déposée par A._ à l'encontre de certains de ses membres, a rejeté la requête tendant à interdire à l'avocat B._ de postuler en faveur de C._, la société D._ SA, la société F._ SA et H._ dans la procédure civile introduite le 13 octobre 2017. Le 21 septembre 2018, A._ a contesté cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) qui, par arrêt du 8 mars 2019, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 8 mars 2019 et d'interdire à l'avocat B._ de postuler dans le cadre de l'affaire civile introduite le 13 octobre 2017, actuellement pendante devant la Chambre patrimoniale; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à la Chambre patrimoniale, afin qu'elle statue sur la question de l'interdiction pour l'avocat B._, de postuler dans le cadre de la cause civile pendante devant elle.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. La Chambre des avocats s'en remet à justice. L'avocat B._ conclut à l'irrecevabilité, subsidiairement au rejet du recours. Dans des observations subséquentes, A._ et l'avocat B._ ont encore confirmé leurs conclusions.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186).
1.1. Conformément à l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à son annulation ou à sa modification (let. c). Constitue un intérêt digne de protection au sens de l'art. 89 al. 1 let. c LTF, tout intérêt pratique ou juridique à demander la modification ou l'annulation de la décision attaquée. Cet intérêt doit être direct et concret (à propos de ces notions, cf. <ref-ruling> consid. 5.1 p. 512 et les références). En outre, la qualité pour recourir au Tribunal fédéral suppose un intérêt actuel à obtenir l'annulation de la décision attaquée. Cet intérêt doit exister tant au moment du dépôt du recours qu'au moment où l'arrêt est rendu. Ainsi, si l'intérêt actuel n'existe plus au moment du dépôt du recours, celui-ci est déclaré irrecevable. Lorsque cet intérêt disparaît durant la procédure devant le Tribunal fédéral, la cause est radiée du rôle comme devenue sans objet (<ref-ruling> consid. 1.3.1 p. 143 et les références).
1.2. En vertu de l'art. 42 al. 1 et 2 LTF, à moins que cela ne fasse d'emblée aucun doute, la partie recourante doit, sous peine d'irrecevabilité, exposer en quoi les conditions de recevabilité sont réunies, en particulier en quoi elle a qualité pour recourir (<ref-ruling> consid. 2.2.3 p. 48 et les références).
1.3. Le présent litige concerne le refus d'interdire à l'avocat intimé de représenter quatre clients dans une procédure opposant ceux-ci au recourant, en raison d'un potentiel conflit d'intérêts, prohibé par l'art. 12 let. c de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61).
Le recourant explique avoir un intérêt personnel, concret et actuel à ce que les règles destinées à assurer la légalité de la procédure et son bon déroulement soient respectées. Il se prévaut d'un intérêt personnel à ce que les défendeurs dans la procédure civile agissent par l'entremise d'avocats aptes à les représenter, notamment pour ne pas perdre de temps. Citant deux auteurs de doctrine, le recourant affirme encore qu'un intérêt juridique est reconnu à la partie qui se plaint d'un conflit d'intérêts de l'avocat adverse. Pour sa part, l'intimé est d'avis qu'en tant que dénonciateur, le recourant n'a pas la qualité pour recourir au Tribunal fédéral, faute d'intérêt digne de protection. Il aboutit à cette conclusion en relevant que le recourant n'a jamais été son client, qu'il ne subit aucun préjudice en raison de cette représentation et qu'il n'est pas particulièrement atteint, se limitant à faire valoir un intérêt général.
1.4. Dans l'<ref-ruling> consid. 2.5.2 p. 168, le Tribunal fédéral a jugé que la personne qu'une décision prive de la possibilité de poursuivre la défense de ses intérêts par l'avocat de son choix, ou alors contraint de voir un ancien mandataire - ou l'associé de l'un de ses anciens mandataires - défendre les intérêts d'une partie adverse, est touchée de manière directe et dispose d'un intérêt digne de protection au sens de l'art. 89 al. 1 let. c LTF à l'annulation ou la modification de cette décision. Dans cet arrêt, le Tribunal fédéral ne s'est en revanche pas prononcé sur l'intérêt digne de protection d'un recourant désirant que l'avocat représentant plusieurs parties adverses, avec lequel il n'a jamais été en relation contractuelle, ne puisse pas représenter ses clients.
1.5. En l'occurrence, le recourant dénonce un prétendu conflit d'intérêts en raison de la représentation, par un même avocat, d'une société à laquelle il a demandé d'être inscrit dans le registre des actionnaires en tant qu'actionnaire majoritaire (à raison de deux-tiers des actions), et de l'administrateur unique de cette société, à qui il demande des dommages-intérêts pour des préjudices causés à la société en sa qualité d'administrateur. Il ressort par ailleurs de l'arrêt entrepris (cf. art. 105 al. 1 LTF) que l'administrateur unique est valablement habilité à représenter la société, celle-ci n'étant pas soumise à un quelconque contrôle spécial (cf. art. 697a ss CO). On constate donc que si aucune des deux parties défenderesse à la procédure civile au fond n'était représentée par un avocat, elles agiraient malgré tout par la même personne. L'administrateur en son nom propre et la société, par son administrateur. En l'espèce, l'avocat intimé, lorsqu'il échange avec les deux clients précités, ne reçoit donc qu'une seule et même personne. C'est cette unique personne qui lui indique comment elle désire procéder en son nom et au nom de la société, sans qu'aucun tiers n'intervienne. Partant, dans l'éventualité où, comme le désire le recourant, deux avocats venaient à représenter l'un la société et l'autre l'administrateur, ces deux mandataires devraient suivre les ordres de la même personne, ce qui correspondrait en définitive à la situation actuelle. Dans ces conditions et en rappelant que l'interdiction de postuler ne concerne que la procédure civile introduite le 13 octobre 2017, à l'exclusion d'éventuelles autres procédures futures qui pourraient intervenir entre la recourant, en tant qu'actionnaire majoritaire de la société, et l'administrateur (cf. <ref-ruling> consid. 2.5.1 p. 168; arrêt 1B_209/2019 du 19 septembre 2019 consid. 4.1.1), on ne saurait reconnaître au recourant un intérêt digne de protection, qu'il soit pratique ou actuel, au présent recours. Pour le surplus, le recourant ne fait pas valoir de potentiel conflit d'intérêts en relation avec la représentation, par l'avocat intimé, de la société F._ SA et de H._. Ainsi, dans la mesure où rien dans l'arrêt entrepris ne permet de déterminer si un tel conflit pourrait éventuellement exister et en l'absence de contestation topique du recourant s'agissant d'une question de recevabilité dont les conditions ne sont pas clairement réalisées (cf. art. 42 al. 2 LTF; <ref-ruling> consid. 1 p. 124 et les références), il n'y a pas à examiner plus avant cette question. En tout état de cause, il convient également de rappeler que les règles professionnelles contenues à l'art. 12 LLCA servent essentiellement à protéger les intérêts des clients de l'avocat (ou ses anciens clients), notamment en leur garantissant une défense exempte de conflit d'intérêts (cf. arrêt 1B_376/2013 du 18 novembre 2013 consid. 3). C'est pour cette raison que l'interdiction de postuler vise principalement à éviter que l'avocat puisse utiliser les connaissances d'une partie adverse (<ref-ruling> consid. 2.5.2 p. 168), situation qui ne concerne pas celle du recourant. Finalement, il convient encore de mentionner que les références doctrinales citées par le recourant ne lui sont d'aucun secours. Tout d'abord, contrairement à ce qu'affirme celui-ci, Chappuis ne dit pas qu'un " intérêt juridique est reconnu à la partie qui se plaint d'un conflit d'intérêts de l'avocat adverse ". Cet auteur reprend bien plus la jurisprudence publiée à l'<ref-ruling> et mentionne à juste titre que, lorsque le dénonciateur entend empêcher son ancien avocat de représenter sa partie adverse, il a un intérêt digne de protection (cf. BENOÎT CHAPPUIS, La profession d'avocat, Tome I, 2 e éd. 2016, p. 154). Bohnet parle quant à lui de procédures parallèles au civil et au pénal, ouvertes à l'encontre d'une société et de l'un de ses organes, et explique qu'un mandataire commun peut bloquer toute issue au civil, faute pour l'avocat de pouvoir utilement conseiller à la société de transiger et de se retourner contre ledit organe (FRANÇOIS BOHNET, Conflits d'intérêts de l'avocat et qualité pour recourir du client et de son adversaire: derniers développements, in RSJ 110/2014 p. 234, ch. V p. 237). Cette situation n'est nullement semblable à la présente où il n'est question que d'une unique procédure civile, dans laquelle la société concernée agit par son administrateur, seul habilité à la représenter.
1.6. Dans ces conditions, le recourant ne bénéficiant pas d'un intérêt digne de protection à la modification ou l'annulation de l'arrêt entrepris et n'étant pas particulièrement atteint par celui-ci, son recours est irrecevable.
2.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens, l'intimé étant représenté par une collaboratrice de son étude et rien ne justifiant de lui en accorder (cf. art. 68 al. 1 et 2 LTF; cf. arrêt 1C_447/2016 du 31 août 2017 consid. 8 et les références), la Chambre des avocats n'y ayant pour sa part pas droit (cf. art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant et de l'intimé, à la Chambre des avocats et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 20 décembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette