Faits :
A.
X._ exerce la profession d'avocat et est inscrit au barreau de Genève. Le 26 juin 2012, il a été désigné défenseur d'office d'un prévenu se trouvant en détention provisoire. Jusqu'à la fin du mois de février 2013, l'intéressé a déposé huit demandes de mise en liberté, toutes refusées.
Le 29 novembre 2012, le procureur en charge de la procédure pénale a écrit à l'intéressé pour lui dire qu'il n'entendait pas donner suite à une "demande de vérification", dans la mesure où certains éléments avaient déjà été abordés lors de l'instruction et étaient sans pertinence au regard des faits reprochés à son client. Il a en particulier ajouté que l'existence de velléités de vengeance semblait inhérente au milieu roumain auquel appartenaient les personnes impliquées. Dans un courrier du 4 février 2013 adressé au Tribunal des mesures de contraintes de la République et canton de Genève (ci-après: le Tribunal des mesures de contrainte), l'intéressé a conclu à l'irrecevabilité d'une demande du 1er février 2013 du Ministère public de la République et canton de Genève (ci-après: le Ministère public) tendant à la prolongation de la détention de son client. Il a notamment expliqué que les conditions présidant au maintien en détention provisoire n'étaient pas réunies. Le risque de représailles évoqué par le Ministère public ne reposait sur aucun élément concret, mais ressortait d'une approche au caractère purement raciste exprimée par écrit et portant sur la violence inhérente au milieu roumain, sans autre précision. La prolongation de la détention provisoire a été ordonnée par le Tribunal des mesures de contrainte, en raison d'un risque de collusion et d'un risque de fuite.
Le 8 mars 2013, le Ministère public a ordonné la révocation du mandat de défenseur d'office de X._. Le comportement de ce dernier était préjudiciable aux intérêts du prévenu, puisqu'il n'avait cessé d'en demander la mise en liberté pour des motifs infondés qui portaient sur des questions déjà tranchées par les autorités compétentes. Sans raison valable, il monopolisait le temps et l'énergie des diverses autorités, pour des actions qui s'étaient révélées stériles, faisant un usage abusif des voies de droit. De plus, il était à l'origine de nombreux reports d'audiences, alors même que le Ministère public mettait tout en oeuvre pour mener l'instruction avec célérité. Sur recours, le Tribunal fédéral a annulé la décision de dernière instance cantonale (arrêt 1B_187/2013 du 4 juillet 2013). Il a ainsi jugé en substance que l'on ne pouvait pas assimiler l'attitude du défenseur à une carence manifeste, ni considérer qu'une défense effective n'était plus assurée, de sorte que les reproches adressés à l'intéressé ne pouvaient justifier une révocation du mandat.
B.
Le 18 mars 2013, le Procureur général a déposé auprès de la Commission du barreau de la République et canton de Genève (ci-après: la Commission) une dénonciation visant X._. Il lui reprochait de violer ses obligations professionnelles.
Par décision du 11 novembre 2013, la Commission a constaté la violation par X._ de son obligation d'exercer sa profession avec soin et diligence. Le reproche fait au Ministère public d'adopter une approche raciste dans son courrier du 4 février 2013 n'était pas tolérable. Par contre, en raison de l'arrêt du Tribunal fédéral du 4 juillet 2013, elle a classé la dénonciation en ce qu'elle concernait les reproches faits à l'intéressé d'avoir déposé de nombreuses demandes de mise en liberté et recouru contre les décisions les refusant. En l'absence d'antécédents, la Commission a prononcé un avertissement. X._ a contesté ce prononcé devant la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice).
Par arrêt du 27 mai 2014, la Cour de justice a rejeté le recours de l'intéressé. Elle a en particulier jugé que celui-ci, en alléguant que le Ministère public avait fait preuve de racisme, s'était livré à la critique de l'action de cette autorité en des termes injurieux, comportement qui n'était ni nécessaire à la défense des intérêts de son client, ni commandé par un quelconque intérêt public.
C.
Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, principalement d'annuler l'arrêt du 27 mai 2014 de la Cour de justice et d'ainsi renoncer à prononcer l'avertissement à son encontre; subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, plus subsidiairement à son renvoi à la Commission pour nouvelle décision dans le sens des considérants. Il se plaint de violation du droit fédéral.
La Commission conclut au rejet du recours. La Cour de justice déclare persister dans les considérants et le dispositif de son arrêt et l'Office fédéral de la justice renonce à formuler des observations.

Considérant en droit :
1.
1.1. Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61), qui relève du droit public au sens de l'<ref-law>. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte. Au surplus, le recours a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est par conséquent recevable, sous réserve de ce qui suit.
1.2. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 4 p. 122; arrêts 2C_490/2014 du 26 novembre 2014 consid. 1.2; 2C_199/2010 du 12 avril 2011 consid. 3.3, non publié in <ref-ruling>). Dans la mesure où le recourant conclut, parallèlement à l'annulation de l'arrêt du 27 mai 2014 de la Cour de justice, à ce qu'il soit dit et constaté "que Monsieur X._ n'a pas violé l'art. 12 lit. a LLCA", il formule une conclusion constatatoire qui est irrecevable.
1.3. La conclusion du recours tendant à l'annulation de la décision rendue en première instance est irrecevable en raison de l'effet dévolutif complet du recours auprès de la Cour de justice (<ref-ruling> consid. 1.2 p. 543; concernant spécifiquement Genève, arrêts 8C_47/2013 du 28 octobre 2013 consid. 4.2; 2C_886/2012 du 29 juin 2013 consid. 1, non publié in <ref-ruling>).
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Par conséquent, et même si le recourant affirme se référer aux faits retenus par l'instance précédente, en tant que celui-ci avance des éléments de fait ne ressortant pas de l'arrêt attaqué sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
Il est reproché au recourant d'avoir écrit le 4 février 2013 au Tribunal des mesures de contrainte que le Ministère public avait une approche au caractère purement raciste de l'affaire relative à son client. Le recourant concède que le discours tenu dans son courrier fait montre d'une certaine exagération. Toutefois, il estime qu'il avait le devoir de relever le caractère inapproprié des propos du Ministère public, qu'il n'était pas de mauvaise foi, qu'il ne visait pas nommément un procureur et qu'il n'avait pas adopté une forme attentatoire à l'honneur. Pour ces raisons, il est d'avis que l'avertissement qui a été prononcé à son encontre viole l'<ref-law>.
3.1. Le Tribunal fédéral revoit librement le point de savoir s'il y a eu violation des règles professionnelles (arrêts 2C_247/2014 du 26 novembre 2014 consid. 2.1; 2P.156/2006 du 8 novembre 2006 consid. 4.3, in Pra 2007 n° 87 p. 587), soit des règles de droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits (arrêt 2C_1180/2013 du 24 octobre 2014 consid. 2.1).
3.2. L'<ref-law> dispose que l'avocat exerce sa profession avec soin et diligence. Cette disposition constitue une clause générale, qui ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais qui englobe ceux avec ses confrères, ainsi qu'avec toutes les autorités (<ref-ruling> consid. 3.2 p. 276 ss; arrêt 2C_1138/2013 du 5 septembre 2014 consid. 2.1).
Selon la jurisprudence du Tribunal fédéral, l'avocat, qui peut se prévaloir de la liberté d'opinion (art. 16 Cst.), dispose d'une grande liberté pour critiquer l'administration de la justice, tant qu'il le fait dans le cadre de la procédure, que ce soit dans ses mémoires ou à l'occasion de débats oraux. Il y a un intérêt public à ce qu'une procédure se déroule conformément aux exigences d'un Etat fondé sur le droit. En fonction de cet intérêt public, l'avocat a le devoir et le droit de relever les anomalies et de dénoncer les vices de la procédure. Le prix à payer pour cette liberté de critiquer l'administration de la justice consiste à s'accommoder de certaines exagérations (cf. <ref-ruling> consid. 1.3.2 p. 157 s.; <ref-ruling> consid. 3.2.2 p. 277 s.). Si l'avocat se voit interdire une critique non fondée, il ne lui est plus possible de présenter sans risque une critique éventuellement fondée. Si, après examen, les griefs soulevés se révèlent non fondés, cela n'est pas un motif en soi suffisant pour infliger une peine disciplinaire. L'avocat n'agit contrairement à ses devoirs professionnels et, partant, de façon inadmissible, que s'il formule des critiques de mauvaise foi ou dans une forme attentatoire à l'honneur, au lieu de se limiter à des allégations de fait et à des appréciations. Les affirmations tenues en dehors de toute procédure, notamment les déclarations publiques, sont quant à elles soumises à des exigences plus strictes (<ref-ruling> consid. 8b p. 107 ss). De plus, l'obligation de diligence interdit à l'avocat d'entreprendre des actes qui pourraient nuire aux intérêts de son client (<ref-ruling> consid. 1.3.2 p. 157 s.). Pour qu'un comportement tombe sous le coup de l'<ref-law>, il suppose toutefois l'existence d'un manquement significatif aux devoirs de la profession (cf. arrêt 2C_878/2011 du 28 février 2012 consid. 5.1; 2C_452/2011 du 25 août 2011 consid. 5.1 et les références citées). Ces principes valent aussi à l'égard des autorités administratives (arrêt 2A.448/2003 précité consid. 5).
3.3. Dans un courrier du 29 novembre 2012, le procureur en charge de la procédure pénale ouverte à l'encontre du client du recourant a écrit à ce dernier pour refuser de donner suite à une "demande de vérification". Il a en particulier motivé son refus en expliquant que l'existence de velléités de vengeance semblait inhérente au milieu roumain auquel appartenaient les personnes impliquées. Par la suite, le 4 février 2013, dans une prise de position adressée au Tribunal des mesures de contrainte, le recourant s'est opposé à une demande de prolongation de la détention de son client demandée par le Ministère public en expliquant en particulier que le risque de représailles évoqué par celui-ci ne reposait sur aucun élément concret, mais ressortait d'une approche au caractère purement raciste exprimée par écrit et portant sur la violence inhérente au milieu roumain.
En l'occurrence, si le Ministère public a dénoncé le recourant à la Commission en raison des propos tenus dans le courrier du 4 février 2013, il l'a également fait ensuite des nombreuses demandes de mise en liberté et des recours interjetés contre les décisions les refusant. Ce comportement l'a d'ailleurs motivé à retirer le mandat d'office du recourant. Suite à l'arrêt du Tribunal fédéral admettant le recours contre ce retrait, seuls les propos tenus dans le courrier précité ont finalement constitué l'objet de la procédure disciplinaire. Il ne fait pas de doute qu'affirmer par écrit que l'approche du Ministère public avait un caractère purement raciste était inconsidéré, n'était pas nécessaire et aurait pu être omis. Le recourant semble d'ailleurs le reconnaître lui-même. Toutefois, cette unique affirmation litigieuse est intervenue dans le cadre d'une procédure et en réponse à des propos peu nuancés de la part du Ministère public. De plus, et comme il le relève justement, le recourant ne s'est pas adressé directement au procureur en charge du dossier, mais au Tribunal des mesures de contrainte, en parlant d'une autorité en général (au contraire de l'arrêt 2C_247/2014 précité). Il l'a fait pour garantir les droits du prévenu et chercher à permettre à celui-ci de ne pas voir sa détention prolongée. Par sa déclaration, le recourant n'a pas nui aux intérêts de son client. Il ne ressort également pas de l'arrêt entrepris qu'il aurait eu le dessein de blesser inutilement la partie adverse ou d'attenter à son honneur. Certes, on est en droit d'attendre d'un avocat qui s'exprime par écrit une plus grande retenue que lors de propos tenus oralement dans le feu d'une séance (arrêt 2C_247/2014 précité consid. 2.3 et les références; Bohnet/Martenet, Droit de la profession d'avocat, 2009, n° 1252). Ici également, il faut toutefois tenir compte de la situation d'espèce et constater que le recourant a répondu le lundi 4 février 2013 à la demande de prolongation de détention du Ministère public déposée le vendredi 1er février 2013. Il a donc rédigé son mémoire dans l'urgence et n'a guère eu l'opportunité de nuancer minutieusement ses propos. De plus, on ne saurait passer sous silence le fait que le recourant n'avait jamais fait l'objet d'une quelconque mesure disciplinaire. Au vu de ce qui précède, bien que cette unique déclaration ait dépassé la retenue que le recourant aurait dû s'imposer et qu'elle n'aurait vraisemblablement pas été tolérée hors procédure, dans la situation concrète, celle-ci n'atteint pas la limite à partir de laquelle le comportement d'un avocat doit être sanctionné (arrêt 2C_1138/2013 précité consid. 2.3; cf. Walter Fellmann, in Fellmann/Zindel [éd.], Kommentar zum Anwaltsgesetz, 2e éd. 2011, n° 50d ad <ref-law>). Elle ne constitue pas un manquement significatif aux devoirs de la profession, mais une exagération à laquelle l'autorité devait pouvoir s'accommoder dans ces circonstances. En conséquence, le recours doit être admis et l'arrêt entrepris annulé.
4.
Compte tenu de l'issue du recours, il n'est pas perçu de frais (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'un mandataire professionnel, le recourant a droit à des dépens (art. 68 al. 1 et 2 LTF). Le recourant ayant été considéré comme succombant entièrement devant l'instance précédente, il y a lieu de renvoyer la cause à cette dernière pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis dans la mesure où il est recevable et l'arrêt de la Cour de justice du 27 mai 2014 annulé.
2.
Il n'est pas perçu de frais judiciaires.
3.
La République et canton de Genève versera au recourant une indemnité de 2'000 fr. à titre de dépens.
4.
La cause est renvoyée à la Cour de justice pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au mandataire du recourant, à la Commission du Barreau du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, et au Département fédéral de justice et police.
Lausanne, le 24 décembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette