Faits : A. Le 4 avril 2014, A._ a adressé à la Commission du barreau du canton de Genève (ci-après: la Commission) le formulaire en vue de son inscription au registre des avocats stagiaires. L'intéressé a indiqué qu'il avait réussi les examens de l'Ecole d'avocature, prêté le serment professionnel d'avocat devant le Conseil d'Etat le 26 mars 2014 et commencé son stage d'avocat sous la responsabilité de Me B._ à partir du 1er avril 2014. Après avoir, le 10 avril 2014, invité A._ à payer un émolument de 100 fr. pour son inscription au registre, la Commission a informé l'intéressé, par courrier du 29 avril 2014, qu'il ne pouvait pas à nouveau être inscrit au registre, dans la mesure où il avait déjà été inscrit au registre des avocats stagiaires en 2001, puis radié après avoir échoué définitivement à l'examen final du brevet d'avocat en 2004. B. Par décision du 28 mai 2014, la Commission a rejeté la demande d'inscription de A._ au registre des avocats stagiaires. Le recours de l'intéressé auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a été rejeté par arrêt du 6 janvier 2015. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt de la Cour de justice du 6 janvier 2015 et de donner ordre à la Commission de l'inscrire au registre cantonal genevois des avocats stagiaires avec effet rétroactif au 10 avril 2014 et, subsidiairement, de renvoyer la cause à la Commission pour nouvelle décision dans le sens des considérants. L'autorité précédente s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. La Commission se réfère à sa décision du 28 mai 2014.