Faits :
A.
X._ est avocat dans le canton de Vaud. Le 10 mars 2017, il a fait l'objet d'une dénonciation à la Chambre des avocats du canton de Vaud (ci-après: la Chambre des avocats) en raison de propos tenus dans un courrier envoyé à un confrère valaisan, l'avocat A._, et pour avoir téléphoné directement à la cliente de celui-ci. Le 24 mai 2017, à la suite de l'échec d'une procédure de conciliation menée par le Bâtonnier de l'Ordre des avocats valaisans, la Chambre des avocats a ouvert une enquête disciplinaire à l'encontre de l'intéressé pour violation des règles professionnelles (en l'occurrence de l'art. 12 al. 1 let. a de la loi du 23 juin 2000 sur la libre circulation des avocats [LLCA; RS 935.61]). La présidente de la Chambre des avocats a confié à Me B._, avocate et membre titulaire de cette autorité, le soin de procéder à l'enquête préliminaire. L'enquêteuse a ainsi auditionné X._ le 11 juillet 2017, puis établi un rapport le 16 août 2017. Ce rapport contient notamment le passage suivant:
" Pour ce qui est en revanche des termes utilisés par Me X._ dans la lettre envoyée à Me A._ le 27 février 2017, il y a lieu de retenir qu'ils ne sont pas admissibles de la part d'un avocat à l'encontre d'un confrère. Le comportement de Me X._ constitue une violation de l'art. 12, al. 1, let. a LLCA.
Cet article de loi ne sanctionne que les manquements graves, à savoir la mise en cause d'un confrère consistant à lui reprocher des actes de diffamation ou de calomnie ou tout autre comportement répréhensible, ou encore les critiques manifestement infondées ou sans intérêt aucun pour la cause (Bohnet/Martenet, Droit de la profession d'avocat, Berne 2009, p. 539, ch. 1282).
Tel est le cas en l'espèce, les attaques visant personnellement Me A._ dans ce courrier étant particulièrement virulentes, comme le fait d'accuser - qui plus est dans un courrier dont on se réserve de se prévaloir - d'être de mauvaise foi et d'agir pour se faire plaisir personnellement en lésant carrément les intérêts de sa cliente.
Peu importe qu'une transaction était sur le point d'aboutir, ce qui ne semble par ailleurs pas être le cas, vu la résiliation du mandat de Me C._ par sa cliente en cours de pourparlers. Le fait que Me A._ aurait été au courant de la situation n'autorisait pas non plus Me X._ à lui répondre de la sorte, d'autres mesures étant possibles pour défendre les intérêts de ses clientes. Les attaques entre avocats sont en effet soumises à des limites (Reiser/ Valticos, La liberté d'expression de l'avocat et du magistrat, Semaine judiciaire 2017 II 176).
[...]
L'enquêteuse ne voit pas non plus l'utilité d'une tentative de conciliation, au vu de la dernière lettre que Me A._ a envoyée à Madame la Bâtonnière de l'Ordre des avocats vaudois, ni celle de l'audition de Me X._ par la Chambre vaudoise des avocats in corpore, ses déclarations paraissant exhaustives sur tous les points évoqués, seule la sanction de son comportement devant encore être examinée par celle-ci. [...] ".
B.
Le 17 août 2017, la présidente de la Chambre des avocats a remis à X._ une copie du rapport précité et lui a imparti un délai pour se déterminer sur son contenu. Dans sa détermination du 31 août 2017, l'intéressé a expliqué que l'enquêteuse s'était forgée une opinion et que dans ces conditions, celle-ci ne pouvait siéger en tant que membre de la juridiction appelée à statuer. Il a donc demandé à l'enquêteuse de se récuser ou à la Chambre des avocats d'en prononcer la récusation. Cette demande a été rejetée le 6 septembre 2017 par la présidente de la Chambre des avocats. Par acte du 9 octobre 2017, X._ a contesté cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 5 février 2018, le Tribunal cantonal a rejeté le recours et confirmé la décision du 6 septembre 2017 de la présidente de la Chambre des avocats.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 5 février 2018 du Tribunal cantonal en prononçant la récusation de l'enquêteuse; subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'autorité précédente pour nouvelle décision. Il se plaint de violation du droit fédéral, international et cantonal.
La Chambre des avocats se réfère aux considérants de l'arrêt entrepris. Le Tribunal cantonal conclut quant à lui au rejet du recours.

Considérant en droit :
1.
L'arrêt attaqué, rendu dans une cause de droit public (art. 82 let. a LTF) en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), est une décision incidente notifiée séparément et portant sur une demande de récusation, de sorte qu'elle peut faire l'objet d'un recours au Tribunal fédéral (art. 92 al. 1 LTF; cf. arrêts 1C_914/2013 du 26 juin 2014 consid. 1, non publié in <ref-ruling>; 2C_831/2011 du 30 décembre 2011 consid. 2.1). La cause ne tombant pas sous le coup de l'une des exceptions de l'art. 83 LTF, la voie du recours en matière de droit public est donc en principe ouverte. Le mémoire de recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire de l'acte attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
2.
2.1. Sauf dans les cas cités expressément à l'art. 95 LTF, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal (ou communal) en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (art. 106 al. 2 LTF).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. art. 105 al 1 LTF; <ref-ruling> consid. 4.4.3 p. 156). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'art. 106 al. 2 LTF. La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6 p. 358). Les critiques portant sur l'état de fait ou sur l'appréciation des preuves, invoquées de manière appellatoire, sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
3.
Le recourant se plaint de la violation des art. 29 Cst., respectivement 30 Cst., 6 CEDH, 17 al. 1 de la loi vaudoise du 9 juin 2015 sur la profession d'avocat (LPAv/VD; RSV 177.11) et 9 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA/VD; RSV 173.36). Il estime que le Tribunal cantonal aurait dû prononcer la récusation de l'enquêteuse, dans la mesure où celle-ci, dans son rapport à la Chambre des avocats, a utilisé des termes précis et concrets, de nature péremptoire, afin d'exprimer une opinion définitive. Le recourant relève le passage du rapport dans lequel l'enquêteuse affirme que les propos qu'il a tenus dans son courrier adressé à son confrère "ne sont pas admissibles de la part d'un avocat" et que son comportement "constitue une violation de l'art. 12 al. 1 let. a LLCA". Il est d'avis que ces termes ne laissent pas la place à une reconsidération et qu'ils traduisent une opinion définitive.
4.
4.1. Selon le droit cantonal, la Chambre des avocats est l'autorité cantonale chargée de la surveillance des avocats (art. 11 al. 1 LPAv/VD). Elle se saisit d'office, sur plainte ou sur dénonciation, de toute question concernant l'activité professionnelle d'un avocat (art. 11 al. 2 LPAv/VD). La Chambre des avocats est composée de cinq membres et de cinq membres suppléants (art. 12 al. 1 LPAv/VD). Elle comprend un juge cantonal qui la préside, le Bâtonnier de l'Ordre des avocats et trois autres membres choisis parmi les avocats inscrits au registre cantonal et qui ont au moins dix ans de pratique dans le canton (art. 12 al. 2 LPAv/VD). Les membres et membres suppléants sont nommés par le Tribunal cantonal, après mise au concours, pour une période de cinq ans (art. 12 al. 3 LPAv/VD). Pour sa part, l'art. 55 LPAv/VD dispose que le président de la Chambre des avocats ouvre la procédure disciplinaire d'office ou sur requête (al. 1). Il peut refuser de donner suite à une dénonciation manifestement mal fondée (al. 2). Dans les autres cas, il ouvre l'enquête disciplinaire et désigne un membre de la Chambre ou un expert en qualité d'enquêteur (al. 3). L'art. 57 LPAv/VD prévoit quant à lui que l'enquêteur tente la conciliation (al. 1); il entend l'avocat ou l'avocat stagiaire et le dénonciateur (al. 2); il peut procéder à d'autres opérations d'instruction, auquel cas il en informe le président de la Chambre (al. 3). L'art. 58 LPAv/VD dispose finalement qu'une fois l'enquête terminée, l'enquêteur transmet son rapport à la Chambre des avocats (al. 1); ce rapport est soumis à l'avocat ou à l'avocat stagiaire visé pour déterminations (al. 2); la Chambre des avocats siège en séance plénière (al. 3); elle peut auditionner le dénonciateur et l'avocat ou l'avocat stagiaire, et ordonner des mesures d'instruction complémentaire (al. 4).
4.2. L'art. 29 al. 1 Cst. dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des personnes impliquées ne sont pas décisives (arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées).
De manière générale, les dispositions sur la récusation sont moins sévères pour les membres des autorités administratives que pour les autorités judiciaires. Contrairement à l'art. 30 al. 1 Cst., l'art. 29 al. 1 Cst. n'impose pas l'indépendance et l'impartialité comme maxime d'organisation. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2 p. 330.; <ref-ruling> consid. 5.2 p. 452 et les références citées). Une autorité, ou l'un de ses membres, a en revanche le devoir de se récuser lorsqu'elle dispose d'un intérêt personnel dans l'affaire à traiter, qu'elle manifeste expressément son antipathie envers l'une des parties ou s'est forgée une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées).
4.3. D'après la jurisprudence, une autorité de surveillance des avocats compétente pour prononcer une sanction disciplinaire n'exerce en principe pas des fonctions juridictionnelles et se rapproche plus d'une autorité administrative que d'un tribunal (<ref-ruling> consid. 2c p. 231 ss; arrêts 2C_931/2015 du 12 octobre 2016 consid. 5.2 et les références citées). L'avocate et enquêteuse dont la récusation est demandée n'est pas juge, de sorte qu'il convient d'appliquer l'art. 29 Cst. et pas l'art. 30 Cst. Les critères qui lui sont applicables en matière de récusation sont ainsi allégés (cf. consid. 4.2 ci-dessus; arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.2). A titre complétif, on peut relever que, dans la procédure disciplinaire vaudoise de l'avocat, la première autorité judiciaire réunissant les conditions d'application des art. 30 Cst. et 6 CEDH est le Tribunal cantonal (cf. art. 65 al. 1 LPAv/VD).
Par conséquent, dans la mesure où l'art. 30 Cst. n'est pas applicable pour la récusation des membres de la Chambre des avocats, il en va de même de l'art. 6 CEDH (cf. <ref-ruling> consid. 5.2 p. 329; <ref-ruling> consid. 3 p. 234). Pour cette raison, les griefs de violation des art. 30 Cst. et 6 CEDH doivent être écartés.
4.4. L'enquêteuse désignée par la Présidente de la Chambre des avocats a respecté la procédure décrite dans la LPAv/VD. Elle a notamment entendu le recourant puis dressé un rapport à l'issue de son enquête. Ce rapport a ensuite été transmis au recourant, afin qu'il puisse se déterminer. Ce dernier ne conteste pas l'application du droit cantonal, mais estime que l'autorité précédente a violé l'art. 29 al. 1 Cst. en ne reconnaissant pas que le contenu du rapport était de nature à faire naître un doute sur l'indépendance ou l'impartialité de l'enquêteuse. Il fait en outre grief à cette autorité d'avoir méconnu la jurisprudence du Tribunal fédéral rendue en matière de récusation, expliquant que celle-ci n'exclut la récusation d'une autorité que lorsque celle-ci émet un avis provisoire sur le sort du litige, en s'exprimant avec la réserve nécessaire (cf. arrêt 2C_831/2011 du 30 décembre 2011 consid. 3.2). Il mentionne encore une citation doctrinale faite par le Tribunal cantonal, dans laquelle tous les exemples concernent l'admission de cas de récusation (cf. BENOÎT BOVAY, Procédure administrative, 2e éd. 2015, p. 142).
4.5. En l'occurrence, le contenu du rapport de l'enquêteuse ne constitue pas une cause de récusation dans le cas d'espèce. En effet, l'enquêteuse agit comme membre rapporteuse de la Chambre des avocats et, après avoir instruit la cause et pris en compte l'ensemble des faits pertinents pour se prononcer, transmet à ses collègues son avis au travers du rapport. Celui-ci constitue donc une proposition de décision adressée aux quatre autres membres appelés à statuer. En agissant de la sorte, l'enquêteuse, dont rien n'indique qu'elle disposerait d'un intérêt personnel dans l'affaire, n'a aucunement manifesté expressément son antipathie envers le recourant et ne s'est pas forgée une opinion définitive avant même d'avoir pris connaissance de tous les faits pertinents de la cause.
Les arguments présentés par le recourant ne permettent pas d'arriver à une autre conclusion. Ainsi, l'opinion exprimée par l'enquêteuse ne va pas à l'encontre de la jurisprudence appliquée par l'autorité précédente. Certes, l'arrêt 2C_831/2011 du 30 novembre 2011 consid. 3.2, qui se fonde notamment sur l'<ref-ruling> consid. 3.3 p. 93 s., pose comme principe que les contraintes liées au respect du droit d'être entendu doivent prendre le pas sur le risque que l'émission d'une opinion sur l'issue de la procédure suscite des doutes relatifs à l'impartialité des personnes appelées à prendre la décision, à tout le moins aussi longtemps que l'autorité s'exprime avec la réserve nécessaire. Cela n'est toutefois vrai, pour une autorité administrative, que tant et aussi longtemps que la personne ou l'autorité qui s'exprime n'a pas une connaissance pleine et entière de l'état de fait pertinent, c'est-à-dire lorsque la procédure d'instruction n'est pas close. Or dans la présente cause, l'enquêteuse avait elle-même menée l'instruction et, à l'issue de celle-ci, rédigé son rapport. Il ne s'agit donc pas d'un avis exprimé dans des circonstances pouvant faire penser que cette personne aurait un avis préconçu sur une situation dont elle n'a qu'une connaissance réduite. On ne saurait dès lors faire grief à l'autorité précédente d'avoir mal saisi l'arrêt 2C_831/2011 du 30 décembre 2011. En outre, s'agissant de la citation doctrinale (cf. consid. 4.4 i.f. ci-dessus), il est vrai que la page à laquelle renvoie l'arrêt entrepris contient une liste d'exemples dans lesquels la révocation de l'autorité a été admise. A la lecture de ces exemples, on se rend toutefois rapidement compte qu'aucun ne correspond à la situation en cause. Il y est question de liens de parenté avec une partie, de critiques émises par une partie dans le passé, d'une prise de position précise d'une autorité hors procédure et d'un fonctionnaire faisant partie d'une association dont les intérêts s'opposaient à ceux de l'association partie à la procédure. Le Tribunal cantonal n'a d'ailleurs pas fait référence à cet ouvrage de doctrine principalement pour ces exemples, mais en relation avec le texte qui les introduit. Il relève ainsi que "pour déterminer s'il y a une apparence de partialité justifiant la récusation, il convient de prendre en compte l'ensemble des circonstances du cas d'espèce, la mission et l'organisation de l'autorité concernée, le contenu précis des déclarations faites, leur contexte et le but recherché par leur auteur". Finalement, les faits de la cause ne sont pas non plus semblables à ceux ayant conduit le Tribunal fédéral a admettre un cas de récusation dans l'<ref-ruling>. Celui-ci avait trait à la récusation d'un juge d'appel qui avait transmis à l'avocat de la partie, de sa propre initiative, son opinion sur la cause, faisant ainsi naître chez cet avocat l'impression que le tribunal ne voulait pas traiter son recours et qu'il pourrait s'avérer judicieux de le retirer. En l'espèce, une disposition légale prévoit expressément la transmission du rapport, et celui-ci ne peut conduire à aucune autre issue que le traitement, par la Chambre des avocats, de la dénonciation pendante devant elle.
4.6. Ainsi, en transmettant le rapport au recourant, la Chambre des avocats a respecté le droit cantonal et, surtout, lui a donné la possibilité d'exercer son droit d'être entendu en se déterminant sur l'issue de l'instruction. Au demeurant, il n'est nullement exclu que les arguments du recourant emportent la conviction de la majorité des membres de la Chambre des avocats, voire de celle de l'enquêteuse. Dans ces conditions, il convient également d'écarter le grief de violation de l'art. 29 al. 1 Cst. Dans la mesure où le recourant ne se plaint pas à suffisance d'arbitraire dans l'application du droit cantonal, son grief de violation des art. 17 al. 1 LPAv/VD et 9 LPA/VD doit d'emblée être écarté (cf. consid. 2.1 ci-dessus).
5.
Sur le vu des considérants qui précèdent, le recours est rejeté. Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Chambre des avocats et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 28 mai 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette