Faits : A. X._ exerce la profession d'avocat et est inscrit au barreau de Genève. Le 26 juin 2012, il a été désigné défenseur d'office d'un prévenu se trouvant en détention provisoire. Jusqu'à la fin du mois de février 2013, l'intéressé a déposé huit demandes de mise en liberté, toutes refusées. Le 29 novembre 2012, le procureur en charge de la procédure pénale a écrit à l'intéressé pour lui dire qu'il n'entendait pas donner suite à une "demande de vérification", dans la mesure où certains éléments avaient déjà été abordés lors de l'instruction et étaient sans pertinence au regard des faits reprochés à son client. Il a en particulier ajouté que l'existence de velléités de vengeance semblait inhérente au milieu roumain auquel appartenaient les personnes impliquées. Dans un courrier du 4 février 2013 adressé au Tribunal des mesures de contraintes de la République et canton de Genève (ci-après: le Tribunal des mesures de contrainte), l'intéressé a conclu à l'irrecevabilité d'une demande du 1er février 2013 du Ministère public de la République et canton de Genève (ci-après: le Ministère public) tendant à la prolongation de la détention de son client. Il a notamment expliqué que les conditions présidant au maintien en détention provisoire n'étaient pas réunies. Le risque de représailles évoqué par le Ministère public ne reposait sur aucun élément concret, mais ressortait d'une approche au caractère purement raciste exprimée par écrit et portant sur la violence inhérente au milieu roumain, sans autre précision. La prolongation de la détention provisoire a été ordonnée par le Tribunal des mesures de contrainte, en raison d'un risque de collusion et d'un risque de fuite. Le 8 mars 2013, le Ministère public a ordonné la révocation du mandat de défenseur d'office de X._. Le comportement de ce dernier était préjudiciable aux intérêts du prévenu, puisqu'il n'avait cessé d'en demander la mise en liberté pour des motifs infondés qui portaient sur des questions déjà tranchées par les autorités compétentes. Sans raison valable, il monopolisait le temps et l'énergie des diverses autorités, pour des actions qui s'étaient révélées stériles, faisant un usage abusif des voies de droit. De plus, il était à l'origine de nombreux reports d'audiences, alors même que le Ministère public mettait tout en oeuvre pour mener l'instruction avec célérité. Sur recours, le Tribunal fédéral a annulé la décision de dernière instance cantonale (arrêt 1B_187/2013 du 4 juillet 2013). Il a ainsi jugé en substance que l'on ne pouvait pas assimiler l'attitude du défenseur à une carence manifeste, ni considérer qu'une défense effective n'était plus assurée, de sorte que les reproches adressés à l'intéressé ne pouvaient justifier une révocation du mandat. B. Le 18 mars 2013, le Procureur général a déposé auprès de la Commission du barreau de la République et canton de Genève (ci-après: la Commission) une dénonciation visant X._. Il lui reprochait de violer ses obligations professionnelles. Par décision du 11 novembre 2013, la Commission a constaté la violation par X._ de son obligation d'exercer sa profession avec soin et diligence. Le reproche fait au Ministère public d'adopter une approche raciste dans son courrier du 4 février 2013 n'était pas tolérable. Par contre, en raison de l'arrêt du Tribunal fédéral du 4 juillet 2013, elle a classé la dénonciation en ce qu'elle concernait les reproches faits à l'intéressé d'avoir déposé de nombreuses demandes de mise en liberté et recouru contre les décisions les refusant. En l'absence d'antécédents, la Commission a prononcé un avertissement. X._ a contesté ce prononcé devant la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 27 mai 2014, la Cour de justice a rejeté le recours de l'intéressé. Elle a en particulier jugé que celui-ci, en alléguant que le Ministère public avait fait preuve de racisme, s'était livré à la critique de l'action de cette autorité en des termes injurieux, comportement qui n'était ni nécessaire à la défense des intérêts de son client, ni commandé par un quelconque intérêt public. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, principalement d'annuler l'arrêt du 27 mai 2014 de la Cour de justice et d'ainsi renoncer à prononcer l'avertissement à son encontre; subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, plus subsidiairement à son renvoi à la Commission pour nouvelle décision dans le sens des considérants. Il se plaint de violation du droit fédéral. La Commission conclut au rejet du recours. La Cour de justice déclare persister dans les considérants et le dispositif de son arrêt et l'Office fédéral de la justice renonce à formuler des observations.