Faits :
A.
Le 11 septembre 2012, la Commission du barreau du canton de Genève (ci-après: la Commission) a ouvert une procédure disciplinaire contre X._ sur la base de l'art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61). Le 11 janvier 2013, ce dernier a demandé la récusation de A._ et la nomination d'un autre membre en tant que rapporteur de la Commission. Par décision du 18 février 2013, la Commission a rejeté la demande de récusation. Le 15 avril 2013, X._ a recouru contre cette décision auprès de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Le 23 mai 2013, la Commission a conclu au rejet du recours formé par X._. Par arrêt du 4 février 2014 (ATA/58/2014), la Cour de justice a admis le recours et a renvoyé la cause à la Commission, afin qu'elle instruise la plainte et statue après attribution du dossier à un nouveau rapporteur. La procédure de plainte disciplinaire a été reprise.
B.
Par requêtes des 9 juillet 2014 et 15 août 2014, X._ a demandé la récusation des membres ordinaires et suppléants de la Commission qui étaient avocats en tant qu'ils ne pouvaient pas "être des juges indépendants et impartiaux" au sein de la Commission, ainsi que celle de tous les membres ayant participé à la décision du 18 février 2013 ou à la prise de position du 23 mai 2013 devant la Cour de justice dans la procédure ayant abouti à l'arrêt du 4 février 2014 (ATA/58/2014). Le 7 octobre 2014, la Commission a indiqué qu'elle statuerait sur la demande de récusation dans une composition ad hoc constituée uniquement de membres non avocats. Elle a invité plusieurs membres de la Commission à se déterminer sur la demande de récusation, notamment Mes B._, C._, D._ et E._, qui ont conclu au rejet de la demande. Le 26 novembre 2014, X._ a demandé la récusation des quatre avocats précités au motif que leurs prises de position témoignaient d'un parti pris incompatible avec la garantie d'impartialité.
Par décision du 26 février 2015, la Commission a rejeté la demande de récusation.
Par arrêt du 1er septembre 2015, la Cour de justice a rejeté le recours de X._ dirigé contre la décision de la Commission du barreau du 26 février 2015.
C.
Agissant par la voie du recours en matière de droit public devant le Tribunal fédéral, X._ a conclu, sous suite de frais et dépens, à l'annulation de l'arrêt du 1er septembre 2015 et au renvoi de la cause à la Cour de justice pour nouvelle décision, subsidiairement à la récusation de Mes B._, C._, D._ et E._.
La Commission s'est référée à sa décision du 26 février 2015. La Cour de Justice a déposé sa réponse le 18 novembre 2015, concluant implicitement au rejet du recours. Le recourant a pu déposer ses observations finales le 8 février 2016.

Considérant en droit :
1.
1.1. Le litige sur le fond relève du droit public au sens de l'<ref-law> et ne tombe pas sous le coup de l'une des exceptions prévues par l'<ref-law>. Par conséquent, interjeté par l'avocat partie à la procédure et directement touché par la décision attaquée (cf. <ref-law>), le recours en matière de droit public dirigé contre une décision préjudicielle notifiée séparément, qui porte sur une demande de récusation (cf. <ref-law>) et qui a été rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42 et 100 al. 1 LTF).
1.2. Le Tribunal fédéral, qui est un juge du droit, conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313 s.) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas constatés (<ref-ruling> consid. 6.2 p. 288).
Dans la mesure où le recourant, même s'il affirme se référer aux faits retenus par l'instance précédente, présente une argumentation appellatoire, en opposant sa propre version des faits à celle de la Cour de justice ou en complétant librement l'état de fait, sans invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
2.
Le recourant, en reprochant à l'instance précédente de ne pas avoir répondu à sa requête de pouvoir compléter son recours devant elle, invoque un déni de justice formel.
2.1. Selon la jurisprudence, commet un déni de justice formel et viole l'art. 29 al. 1 Cst. l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délai légaux, alors qu'elle était compétente pour le faire (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.3 p. 232; arrêt 1C_317/2009 du 15 janvier 2010 consid. 3.1). Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., implique en outre pour l'autorité l'obligation de motiver sa décision. La motivation d'une décision est suffisante, au regard du droit d'être entendu garanti par l'art. 29 al. 2 Cst., lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter à ceux qui, sans arbitraire, lui paraissent pertinents (<ref-ruling> consid. 5.1 p. 237; <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236). L'essentiel est que la décision indique clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (<ref-ruling> consid. 8.2 p. 153 et les références citées). La motivation peut être implicite et résulter des différents considérants de la décision (cf. arrêt 1C_167/2015 du 18 août 2015 consid. 3 et les arrêts cités).
Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 2.2 p. 190). Une violation du droit d'être entendu peut toutefois être réparée dans le cadre de la procédure de recours devant le Tribunal fédéral lorsque l'irrégularité n'est pas particulièrement grave et pour autant que la partie concernée ait la possibilité de s'exprimer et de recevoir une décision motivée de la part de l'autorité de recours disposant d'un pouvoir d'examen complet. Une réparation du vice procédural est également possible lorsque le renvoi à l'autorité inférieure constitue une vaine formalité, provoquant un allongement inutile de la procédure, incompatible avec l'intérêt de la partie concernée à ce que sa cause soit tranchée dans un délai raisonnable (<ref-ruling> consid. 2.3.2 p. 197 s.; <ref-ruling> consid. 2.2 p. 204 s.; arrêt 1B_369/2012 du 4 juillet 2012 consid. 2.1; cf. arrêts 5D_26/2010 du 21 juillet 2010 consid. 2 et 5A_710/2008 du 12 janvier 2009 consid. 2.4).
2.2. En l'espèce, la Cour de justice ne s'est pas prononcée sur la requête du recourant de pouvoir compléter son recours devant elle. Cependant, comme le relève pertinemment cette autorité dans sa détermination du 18 novembre 2015, en invitant la Commission à se déterminer, la Cour de justice a implicitement refusé la requête en question. Or, l'intéressé n'a pas réagi à ce moment-là. Il est aussi resté inactif lorsque la Cour de justice lui a communiqué que la cause était gardée à juger. Partant, le recourant aurait pu et dû invoquer le droit de faire valoir ses arguments et compléter spontanément son recours à ce moment-là. En effet, contrairement à ce que soutient l'intéressé, le fait que la Commission ait renoncé à se déterminer sur le recours et que la cause ait été gardée à juger par la Cour de justice, ne l'empêchait nullement de formuler des considérations complémentaires (cf. en lien avec le droit de réplique, <ref-ruling> consid. 3.3 p. 192). En ne réagissant pas devant la Cour de justice, le recourant a implicitement renoncé à compléter son écriture et ne peut donc plus s'en prévaloir devant le Tribunal fédéral.
3.
Le recourant reproche à l'instance précédente d'avoir motivé son rejet de la demande de récusation visant Mes B._, C._, D._ et E._ globalement et non pas individuellement, soit de manière insuffisante (art. 29 al. 2 Cst.).
L'arrêt cantonal se réfère aux déterminations des avocats visés. Il expose d'une part que, malgré les mots parfois emphatiques qui y sont utilisés et les points de vue qu'elles contiennent - limités à la question de la récusation -, celles-ci ne dénotent pas d'un parti pris à l'encontre du recourant. D'autre part, il relève que les avocats en question ne sont pas appelés à se prononcer sur la demande de récusation. Dans ces conditions, les indications fournies par la décision litigieuse ont répondu aux questions décisives et ont permis au recourant d'en apprécier la portée et de la discuter en connaissance de cause. Cela exclut la violation du droit d'être entendu (cf. <ref-ruling> consid. 4.1 p. 88).
4.
Le recourant se plaint de ce que l'instance précédente a déclaré tardives les demandes de récusation dirigées contre les membres avocats de la Commission du barreau, ainsi que contre ceux qui ont participé à la décision du 18 février 2013 et à la prise de position du 23 mai 2013 dans la procédure ayant abouti à l'arrêt du 4 février 2014 (ATA/58/2014). Il reproche à l'instance précédente d'avoir utilisé les constatations de fait qui ressortaient de l'arrêt qu'elle avait rendu le 4 février 2014 (ATA/58/2014), en violant ainsi son droit d'être entendu. En outre, il fait grief à la Cour de justice d'avoir procédé à une interprétation arbitraire du motif de récusation qu'il avait soulevé dans cette première procédure. Il se trouverait ainsi dans l'impossibilité de démontrer que, dès le dépôt de la demande de récusation de A._, il entendait se plaindre du manque d'impartialité de tous les membres avocats de la Commission du barreau.
4.1. La procédure ayant conduit à l'arrêt du 4 février 2014 (ATA/58/2014) est un incident de l'instruction de la plainte disciplinaire dirigée contre le recourant, qui constitue la cause principale. Il en va de même de la demande de récusation à l'origine de l'arrêt du 1er septembre 2015 qui fait l'objet de la présente cause. La Cour de justice pouvait ainsi s'y référer sans violer le droit d'être entendu du recourant.
4.2. La partie qui a connaissance d'un motif de récusation ou d'un autre vice dans la composition du tribunal doit l'invoquer aussitôt, sous peine d'être déchue du droit de s'en prévaloir ultérieurement. Il est en effet contraire aux règles de la bonne foi de garder en réserve le moyen tiré de la composition irrégulière du tribunal pour ne l'invoquer qu'en cas d'issue défavorable de la procédure (<ref-ruling> consid. 3.2.1 p. 124).
Lors de la demande de récusation ayant conduit à l'arrêt du 4 février 2014, le recourant n'a demandé que la récusation de A._ et non pas de tous les membres avocats de la Commission, de sorte qu'il importe peu de savoir si cette première demande visait avant tout la qualité d'avocat en général de A._ ou si elle visait le fait allégué dès le départ par le recourant et retenu par l'instance précédente que A._ avait succédé à un confrère dans une procédure civile en cours qui durait depuis quelques années, qu'elle était de nature commerciale, que sa valeur litigieuse était élevée et que A._ s'était constitué pour la partie demanderesse, alors que le recourant représentait la partie défenderesse. Dans les deux cas, c'est dès l'ouverture de la procédure, mais au plus tard dès la connaissance de la nomination de A._ en tant que rapporteur, que le recourant a pu prendre connaissance de la composition de la Commission et du fait que plusieurs de ses membres étaient avocats. Ainsi, comme l'a jugé à juste titre l'instance précédente, la demande de récusation de l'ensemble des membres avocats de la Commission était tardive.
Par ailleurs, le motif pour lequel le recourant a demandé la récusation des membres de la Commission qui ont participé à la décision du 18 février 2013, soit d'avoir jugé que A._ ne devait pas se récuser, lui était connu dès la notification de dite décision. Quant au motif pour lequel le recourant a demandé la récusation des membres de la Commission qui ont participé à la prise de position du 23 mai 2013, soit de conclure au rejet de son recours, il lui était connu dès la notification de cette dernière mais au plus tard dès la notification de l'arrêt du 4 février 2014, qui a eu lieu le 17 février 2014 (<ref-law>). Il s'ensuit que c'est à bon droit que l'instance précédente a jugé que ces deux demandes de récusation étaient tardives.
5.
Le recourant fait valoir que les prises de position de Mes B._, C._, D._ et E._ relatives à sa demande de récusation dénotent d'un parti pris à son encontre justifiant leur récusation. Il relève en particulier que les déterminations de ceux-ci "font état d'attaques personnelles, méprisent la conception, voire la vision, de la profession du requérant, et dénigrent le requérant, souvent en travestissant ses propos, ou en forçant le trait, pour conclure à l'abus, voire à la fantaisie de l'argumentation".
5.1. L'art. 29 al. 1 Cst. dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des personnes impliquées ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 124; <ref-ruling> consid. 2.2 p. 3).
De manière générale, les dispositions sur la récusation sont moins sévères pour les membres des autorités administratives que pour les autorités judiciaires. Contrairement à l'art. 30 al. 1 Cst., l'art. 29 al. 1 Cst. n'impose pas l'indépendance et l'impartialité comme maxime d'organisation. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2 p. 329 s.; <ref-ruling> consid. 5.2 p. 451 s.; <ref-ruling> consid. 3f p. 124 s.; voir également arrêt 2C_831/2011 du 30 décembre 2011 consid. 3.2). Une autorité, ou l'un de ses membres, a en revanche le devoir de se récuser lorsqu'elle dispose d'un intérêt personnel dans l'affaire à traiter, qu'elle manifeste expressément son antipathie envers l'une des parties ou s'est forgée une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêts 2C_629/2015 du 1er décembre 2015 consid. 3.1; 1C_442/2011 du 6 mars 2012 consid. 2.1 et les références citées).
5.2. D'après la jurisprudence, une autorité de surveillance des avocats compétente pour prononcer une sanction disciplinaire n'exerce en principe pas des fonctions juridictionnelles et se rapproche plus d'une autorité administrative que d'un tribunal (<ref-ruling> consid. 2c p. 231 ss; arrêt 2C_794/2011 du 22 décembre 2011 consid. 3.1; arrêt 2C_187/2011 du 28 juillet 2011 consid. 3.1, non publié in <ref-ruling>; voir aussi, concernant en particulier la Commission du barreau du canton de Genève, arrêt 2C_177/2007 du 19 octobre 2007 consid. 3.1 et 3.2). Les quatre avocats dont la récusation est demandée ne sont pas des juges, de sorte que les critères qui leur sont applicables en matière de récusation sont allégés (cf. supra consid. 5.1).
5.3. S'agissant des prises de position de Mes B._, C._, D._ et E._ relatives à la demande de récusation du recourant, l'autorité précédente a considéré que les termes utilisés dans celles-ci étaient "parfois emphatiques mais nullement constitutifs d'une attaque ou d'une insulte personnelle". Elle a relevé également que les déterminations en question concernaient toutes la demande de récusation et non pas le fond du litige.
5.3.1. Le recourant reproche essentiellement à Mes B._ et C._ d'avoir qualifié de "fantaisiste" sa lecture de l'arrêt de la Cour de justice du 4 février 2014 et de lui avoir imputé des propos qu'il n'avait pas émis. En outre, il fait grief à Me D._ d'avoir déclaré que sa vision de l'éthique de ses confrères serait "sombre", en lui attribuant des affirmations qu'il n'avait pas formulées. Finalement, l'intéressé critique le fait que Me E._ ait qualifié de "parfaitement abusive" son interprétation de l'arrêt du 4 février 2014.
5.3.2. S'il est vrai que les avocats précités n'ont pas fait preuve de retenue dans certains de leurs propos, en utilisant parfois des termes relativement forts, ceci semble plutôt être dû au style habituellement utilisé en procédure par lesdits avocats qu'à une prévention de ceux-ci à l'égard du recourant. Les propos litigieux ne constituent nullement une manifestation expresse d'antipathie envers l'intéressé. Appréciés objectivement, ils ne sauraient donc faire naître une apparence de prévention des avocats en question envers le recourant. En outre, il ne ressort pas de l'arrêt entrepris que ces avocats auraient un intérêt personnel dans l'affaire ou auraient émis des remarques négatives sur l'intéressé avant l'ouverture de l'enquête. Ce dernier ne l'allègue d'ailleurs pas devant le Tribunal fédéral.
Quant au fait que, selon le recourant, Mes B._, C._ et D._ lui auraient imputé des propos qu'il n'aurait jamais émis, dans une "volonté de nuire", il ressort de l'arrêt attaqué que, dans les passages litigieux de leurs déterminations, les avocats en question ont simplement exposé leurs points de vue. En particulier, Mes B._ et C._ ont relevé que l'intéressé "sembl[ait] considérer comme une flétrissure" la qualité d'ancien bâtonnier de Me B._, alors que Me D._ a affirmé que la prévention imputée aux membres avocats de la commission sous prétexte d'un risque intrinsèque ou potentiel de concurrence dénotait une vision "bien sombre" de l'éthique et de l'intégrité de ses confrères. Or, on ne voit pas que ces prises de position auraient imputé au recourant des affirmations qu'il n'avait pas émises. En outre, contrairement à ce que soutient l'intéressé, on ne discerne aucune "volonté de nuire" dans ces déterminations. Au demeurant, comme le relève également la Cour de justice, celles-ci concernaient toutes la demande de récusation, à l'exclusion du fond du litige.
Compte tenu de ces éléments, les propos litigieux, bien que parfois peu mesurés, ne permettent pas de conclure à eux seuls à la partialité des avocats concernés par la demande de récusation du recourant.
5.4. Les éléments avancés par le recourant ne permettent pas de conclure à une apparence objective de partialité. La juridiction cantonale n'a dès lors pas violé le droit fédéral en considérant qu'il n'existait aucun motif de récusation à l'encontre de Mes B._, C._, D._ et E._.
6.
Les considérants qui précèdent conduisent au rejet du recours. Au vu de l'issue du litige, les frais sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Commission du Barreau du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, et au Département fédéral de justice et police.
Lausanne, le 12 octobre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti