Faits : A. Le 11 septembre 2012, la Commission du barreau du canton de Genève (ci-après: la Commission) a ouvert une procédure disciplinaire contre X._ sur la base de l'art. 12 let. a de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61). Le 11 janvier 2013, ce dernier a demandé la récusation de A._ et la nomination d'un autre membre en tant que rapporteur de la Commission. Par décision du 18 février 2013, la Commission a rejeté la demande de récusation. Le 15 avril 2013, X._ a recouru contre cette décision auprès de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Le 23 mai 2013, la Commission a conclu au rejet du recours formé par X._. Par arrêt du 4 février 2014 (ATA/58/2014), la Cour de justice a admis le recours et a renvoyé la cause à la Commission, afin qu'elle instruise la plainte et statue après attribution du dossier à un nouveau rapporteur. La procédure de plainte disciplinaire a été reprise. B. Par requêtes des 9 juillet 2014 et 15 août 2014, X._ a demandé la récusation des membres ordinaires et suppléants de la Commission qui étaient avocats en tant qu'ils ne pouvaient pas "être des juges indépendants et impartiaux" au sein de la Commission, ainsi que celle de tous les membres ayant participé à la décision du 18 février 2013 ou à la prise de position du 23 mai 2013 devant la Cour de justice dans la procédure ayant abouti à l'arrêt du 4 février 2014 (ATA/58/2014). Le 7 octobre 2014, la Commission a indiqué qu'elle statuerait sur la demande de récusation dans une composition ad hoc constituée uniquement de membres non avocats. Elle a invité plusieurs membres de la Commission à se déterminer sur la demande de récusation, notamment Mes B._, C._, D._ et E._, qui ont conclu au rejet de la demande. Le 26 novembre 2014, X._ a demandé la récusation des quatre avocats précités au motif que leurs prises de position témoignaient d'un parti pris incompatible avec la garantie d'impartialité. Par décision du 26 février 2015, la Commission a rejeté la demande de récusation. Par arrêt du 1er septembre 2015, la Cour de justice a rejeté le recours de X._ dirigé contre la décision de la Commission du barreau du 26 février 2015. C. Agissant par la voie du recours en matière de droit public devant le Tribunal fédéral, X._ a conclu, sous suite de frais et dépens, à l'annulation de l'arrêt du 1er septembre 2015 et au renvoi de la cause à la Cour de justice pour nouvelle décision, subsidiairement à la récusation de Mes B._, C._, D._ et E._. La Commission s'est référée à sa décision du 26 février 2015. La Cour de Justice a déposé sa réponse le 18 novembre 2015, concluant implicitement au rejet du recours. Le recourant a pu déposer ses observations finales le 8 février 2016.