Faits :
A.
X._ est avocat, inscrit au barreau de Marseille. Entre 1985 et 2001, puis entre août 2006 et le 21 juin 2010, il a été le conseil de A.B._. Ce dernier, né en 1937 et décédé le 20 septembre 2012, est devenu veuf de sa première épouse, B.B._, en avril 2005. Le 16 février 2008, il a épousé C.B._, née en 1965. A.B._ n'a pas eu d'enfants, mais avait une soeur, D._, décédée fin 2011, qui avait elle-même une fille, E._.
Dans une procuration datée du 13 mars 2007 et légalisée devant notaire, A.B._ a donné mandat à X._ de le représenter dans deux contentieux. Le 26 mai 2008, l'intéressé a encore été mandaté pour une troisième affaire. Par courrier du 15 juillet 2009, X._ a informé la nièce de son mandant, E._, du fait que A.B._ lui avait donné, le 5 juillet 2008, un pouvoir général de s'occuper de l'ensemble de ses affaires, notamment afin de récupérer des créances, mais sans pouvoir de disposition.
Par testament olographe du 16 mars 2010, A.B._ a révoqué le testament olographe du 15 janvier 2008 instituant C.B._ comme unique héritière et déclaré léguer la quotité disponible de ses biens à sa nièce, E._. Le 19 mai 2010, A.B._ a déposé une demande de divorce contre C.B._ devant une juridiction française. Par courrier du 21 juin 2010, A.B._, dont la signature a été certifiée devant notaire, a révoqué tous les mandats confiés à l'intéressé et lui a demandé de ne plus s'occuper de ses affaires. Il l'a invité à utiliser la voie légale pour le règlement de ses éventuels honoraires, ce que X._ a fait par demande du 20 janvier 2011, le montant de ses honoraires pour la période d'août 2006 à juillet 2010 ayant été fixé à 755'723 EUR 96.
Par jugement du 20 janvier 2011, la juridiction française compétente a placé A.B._ sous curatelle renforcée, fixé la durée de la mesure à 60 mois et désigné E._ en qualité de curatrice pour assister celui-ci et le contrôler dans la gestion de ses biens.
Le 18 février 2011, A.B._, agissant par sa curatrice, a déposé, par l'intermédiaire d'un avocat, une plainte pénale auprès du Ministère public de la République et canton de Genève (ci-après: le Ministère public) à l'encontre de sa femme, C.B._, pour appropriation illégitime, abus de confiance, vol et recel. Suite au décès de A.B._ le 20 septembre 2012, le Ministère public a mis C.B._ en prévention des chefs d'appropriation illégitime, d'abus de confiance, de vol, d'utilisation frauduleuse d'un ordinateur et de faux dans les titres, pour des faits commis au préjudice du défunt entre septembre 2008 et fin 2010 (procédure pénale P/2908/2011).
Le 21 mai 2013, X._ s'est constitué pour la défense des intérêts de C.B._ dans la procédure pénale précitée, aux côtés d'une avocate inscrite au registre des avocats du barreau de Genève.
B.
Le 27 août 2014, le Ministère public a demandé à la Commission du barreau de la République et canton de Genève (ci-après: la Commission du barreau) d'interdire à X._ d'assister et/ou de représenter C.B._ dans le cadre de la procédure pénale pendante, en raison d'un conflit d'intérêts, X._ ayant bénéficié d'une procuration générale de la part de A.B._ entre mars 2007 et le 21 juin 2010, à savoir pendant la période pénale mettant en cause C.B._. Il avait été le conseil et le confident de A.B._ durant de nombreuses années. Il avait ainsi eu connaissance d'une quantité d'informations personnelles du défunt qu'il mettait désormais à disposition d'une partie adverse.
Après avoir entendu X._, le bureau de la Commission du barreau, par décision du 16 septembre 2014, a fait injonction à l'intéressé, avec effet immédiat, de cesser de représenter les intérêts de C.B._ dans le cadre de la procédure pénale précitée, en raison d'un risque concret de conflit d'intérêts. Par décision du 14 octobre 2014, l'assemblée plénière de la Commission du barreau a confirmé la décision du 16 septembre 2014. X._ a contesté ce prononcé auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) le 7 novembre 2014.
Par arrêt du 2 juin 2015, la Cour de justice a rejeté le recours de l'intéressé. Elle a en substance jugé qu'en raison notamment du lien particulièrement étroit qui avait existé entre ce dernier et A.B._, on ne pouvait pas exclure que X._ ne doive pas, à un quelconque moment de la procédure, faire état de circonstances dont il avait eu connaissance dans le cadre du mandat en faveur de son ancien client. La Cour de justice a par conséquent considéré qu'il existait un conflit d'intérêts.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du 2 juin 2015 de la Cour de justice, les décisions du bureau de la Commission du barreau du 16 septembre 2014 et de l'assemblée plénière de la Commission du barreau du 13 octobre 2014 ainsi que de constater qu'il est en droit de représenter les intérêts de C.B._ devant le Ministère public dans le cadre de la procédure pénale en cause; subsidiairement de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact des faits et de violation du droit fédéral.
Par ordonnance du 23 juillet 2015, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. La Commission du barreau conclut implicitement au rejet du recours. L'Office fédéral de la justice renonce à formuler des observations. Dans une dernière écriture, X._ a confirmé ses conclusions.

Considérant en droit :
1.
1.1. Le présent litige concerne l'interdiction faite à l'avocat recourant de représenter un client en raison d'un conflit d'intérêts prohibé par la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61) qui relève du droit public au sens de l'art. 82 let. a LTF. Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est partant ouverte. Au surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il est par conséquent recevable, sous réserve de ce qui suit.
1.2. Les conclusions et griefs dirigés contre des décisions émanant d'autres instances que l'arrêt attaqué sont irrecevables en raison de l'effet dévolutif du recours auprès de la Cour de justice et de l'exigence d'épuisement des instances cantonales (cf. art. 86 al. 1 let. d LTF). Ainsi, la conclusion du recours tendant à l'annulation des décisions rendues par le bureau de la Commission du barreau du 16 septembre 2014 et par l'assemblée plénière de la Commission du barreau du 13 octobre 2014 est irrecevable (<ref-ruling> consid. 1.2 p. 543; concernant spécifiquement la République et canton de Genève, arrêts 8C_47/2013 du 28 octobre 2013 consid. 4.2; 2C_886/2012 du 29 juin 2013 consid. 1, non publié in <ref-ruling>), au même titre que le grief de violation de l'art. 6 CEDH, en ce qu'il est dirigé contre une décision autre que celle de la Cour de justice (cf. arrêt 2C_449/2013 du 21 février 2014 consid. 1.3 et les arrêts cités).
2.
Le recourant fait en premier lieu valoir que l'autorité précédente a apprécié les faits à sa disposition de manière arbitraire.
2.1. L'appréciation des preuves est arbitraire ou manifestement inexacte au sens de l'art. 97 al. 1 LTF lorsqu'elle est en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (cf. <ref-ruling> consid. 4.2 p. 233 s.; <ref-ruling> consid. 4.3 p. 62 et les références). Il appartient à la partie recourante de démontrer le caractère arbitraire par une argumentation répondant aux exigences accrues de motivation de l'art. 106 al. 2 LTF (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 1.4.3 p. 254 s.). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou l'appréciation des preuves (<ref-ruling> consid. 10.1 p. 444 et les arrêts cités).
2.2. Le recourant estime tout d'abord que la Cour de justice a méconnu l'importance de l'état psychique de A.B._.
Dans ses considérants en droit, la Cour de justice a retenu que bien " que formellement ouverte par l'ancien client, la procédure pénale débute à une période où ce dernier est sous curatelle renforcée en raison d'une diminution de sa capacité de discernement due à son âge avancé ". Après avoir constaté que la nièce de A.B._ avait joué un rôle actif dans le dépôt de la plainte pénale, l'autorité précédente a relevé que l'intervention " de la nièce et l'affaiblissement de la capacité de discernement de A.B._ constituent des circonstances susceptibles d'atténuer, sous l'angle de la relation de confiance envers son ancien client et en raison des circonstances particulières du présent cas, le caractère contradictoire des intérêts de son ancien client face à ceux de sa cliente actuelle ". La Cour de justice a même ajouté que " la situation aurait pu ne pas se produire si son ancien client avait pu pleinement disposer de ses facultés intellectuelles ".
Partant, on ne saurait, comme désire le faire entendre le recourant, considérer que c'est de manière arbitraire que l'autorité précédente a méconnu la capacité de discernement réduite de A.B._. Le recourant le relève d'ailleurs lui-même, en expliquant que l'arrêt contesté " admet que feu Monsieur A.B._ n'avait plus une capacité de discernement suffisante pour comprendre la portée des actes que sa nièce lui conseillait d'accomplir ". Au demeurant, les explications du recourant relatives à l'incidence de ces faits sur l'issue de la cause, et pour autant qu'elles remplissent les conditions de l'art. 106 al. 2 LTF, ne convainquent pas. Pour le surplus, le recourant conteste encore à ce propos certains passages des considérants en fait de l'arrêt entrepris. A la lecture de ceux-ci, on constate toutefois que la Cour de justice s'est contentée de reprendre le contenu de courriers du recourant. Venir en contester la teneur sous prétexte d'établissement arbitraire des faits, sans plus d'explications, n'est pas recevable en l'espèce.
2.3. Le recourant conteste ensuite le pouvoir général que la Cour de justice lui a reconnu dans le cadre de la représentation de A.B._ dès juillet 2008.
En l'occurrence, se fondant sur un courrier du 15 juillet 2009 du recourant dans lequel celui-ci relevait qu'il avait " informé la nièce de son mandant, Madame E._, du fait que A.B._ lui avait donné, le 5 juillet 2008, un pouvoir général de s'occuper de l'ensemble de ses affaires, notamment afin de récupérer des créances, mais sans pouvoir de disposition ", la Cour de justice n'est pas tombée dans l'arbitraire en retenant que le recourant bénéficiait effectivement d'un pouvoir général de A.B._ de s'occuper de ses affaires. Les explications du recourant quant au fait qu'il faut replacer ce courrier dans son contexte ou en ce qu'il fait référence à des procédures tierces, n'emportent pas conviction.
2.4. Finalement, le recourant fait encore valoir un établissement incomplet des faits en ce que l'autorité précédente n'aurait pas relevé que l'interdiction de procéder concerne uniquement la procédure pénale P/2908/2011. Il estime que cette interdiction affecte d'autres procédures le concernant.
L'objet de la contestation étant l'interdiction faite au recourant de représenter C.B._ dans la procédure pénale P/2908/2011 ouverte devant le Ministère public, il n'est pas arbitraire de ne pas examiner en quoi cette interdiction aurait des répercutions sur d'autres procédures. Il n'appartenait au demeurant de toute façon pas à la Cour de justice de traiter de cette question.
2.5. En conséquence, c'est sans arbitraire que la Cour de justice a établi les faits de la présente cause. En outre, pour les faits non contestés, en tant que le recourant avance des éléments qui ne ressortent pas de l'arrêt attaqué sans exposer en quoi les conditions de l'art. 97 al. 1 LTF seraient réunies, il n'en sera pas tenu compte.
3.
Le recourant invoque en définitive une violation de l'art. 12 let. c LLCA et l'existence d'un risque concret de conflit d'intérêts.
3.1. Parmi les règles professionnelles que doit respecter l'avocat, l'art. 12 let. c LLCA prévoit que celui-ci doit éviter tout conflit entre les intérêts de son client et ceux des personnes avec lesquelles il est en relation sur le plan professionnel ou privé. L'interdiction de plaider en cas de conflit d'intérêts est une règle cardinale de la profession d'avocat (arrêt 1A.223/2002 du 18 mars 2003 consid. 5.2). Elle est en lien avec la clause générale de l'art. 12 let. a LLCA, selon laquelle l'avocat exerce sa profession avec soin et diligence, de même qu'avec l'obligation d'indépendance rappelée à l'art. 12 let. b LLCA (<ref-ruling> consid. 3 p. 110). Le Tribunal fédéral a souvent rappelé que l'avocat a notamment le devoir d'éviter la double représentation, c'est-à-dire le cas où il serait amené à défendre les intérêts opposés de deux parties à la fois (<ref-ruling> consid. 9.1 p. 154; <ref-ruling> consid. 3 p. 110 et les références), car il n'est alors plus en mesure de respecter pleinement son obligation de fidélité et son devoir de diligence envers chacun de ses clients (arrêt 1A.223/2002 du 18 mars 2002 consid. 5.2). Il y a violation de l'art. 12 let. c LLCA lorsqu'il existe un lien entre deux procédures et que l'avocat représente dans celles-ci des clients dont les intérêts ne sont pas identiques. Il importe peu en principe que la première des procédures soit déjà terminée ou encore pendante, dès lors que le devoir de fidélité de l'avocat n'est pas limité dans le temps (<ref-ruling> consid. 3 p. 110 et les références). Un risque purement abstrait ne suffit pas. Le risque de conflit d'intérêts doit être concret. Ainsi, dès qu'un conflit d'intérêts survient et que ses clients se trouvent opposés l'un à l'autre, l'avocat doit arrêter de les représenter (cf. <ref-ruling> consid. 9.1 p. 154 s.; <ref-ruling> consid. 4.2.1 p. 112).
3.2. En l'espèce, comme cela ressort des faits retenus par la Cour de justice, l'avocat recourant a représenté A.B._ durant environ 20 ans, jusqu'au 21 juin 2010. Le 5 juillet 2008, il a reçu, de la part de son ancien client, un mandat général afin de s'occuper de l'ensemble de ses affaires, et en particulier de récupérer certaines créances. Durant toutes ces années, le recourant a toujours veillé à sauvegarder les intérêts patrimoniaux de A.B._, également lorsque la santé de ce dernier s'est détériorée. Il a d'ailleurs perçu des honoraires d'environ 755'000 EUR pour le travail effectué entre août 2006 et juillet 2010.
En février 2011, l'ancien client du recourant, alors sous curatelle, a déposé plainte pénale contre sa femme lorsque les époux étaient en procédure de divorce. En mai 2013, soit trois ans après le décès de son ancien client, le recourant désire représenter la veuve de A.B._ dans la procédure pénale ouverte par le Ministère public pour appropriation illégitime, abus de confiance, vol, utilisation frauduleuse d'un ordinateur et faux dans les titres. Les faits reprochés se seraient déroulés entre septembre 2008 et fin 2010.
Le risque de conflit d'intérêts était d'emblée visible en l'espèce. En effet, durant la période concernée par la plainte pénale, c'est-à-dire entre mars 2008 et avril 2010, le recourant était le mandataire de la partie plaignante et bénéficiait d'un mandat général pour s'occuper des affaires de son client, notamment des affaires pécuniaires. Le recourant avait de plus une connaissance particulière de son client, puisqu'il l'a conseillé durant environ 20 ans. Durant cette période, qui s'inscrit donc dans le cadre d'une relation étroite de confiance, il a inévitablement eu connaissance d'un nombre important d'éléments pour lesquels il est, à ce jour encore, tenu au secret professionnel. Il ne peut par conséquent représenter C.B._ dans la procédure pénale P/2908/2011, puisque les intérêts de celle-ci sont contradictoires avec ceux de son ancien client, ce dernier constituant la partie plaignante de la procédure pénale précitée, dans laquelle sa nouvelle cliente est prévenue. Il faut constater, à l'instar de la Cour de justice, que le risque de conflit d'intérêts n'est en l'espèce pas abstrait, comme tente de le faire croire le recourant, mais bien concret, ses clients se trouvant directement opposés l'un à l'autre. Le fait que l'un d'eux soit décédé, respectivement que le mandat ait pris fin, n'y change rien. Le recourant ne peut en outre pas tirer de conclusions du fait que dans d'autres procédures, notamment françaises, qui ne font pas l'objet de la présente contestation, les autorités compétentes n'aient pas reconnu l'existence d'un conflit d'intérêts. Il ne peut pas non plus arguer du fait que le Ministère public ait attendu avant de dénoncer la présente situation à la Commission du barreau, ou du fait que le plaignant ait agi par sa curatrice, pour tenter d'invoquer l'absence de conflit d'intérêts.
3.3. Ces éléments suffisent à démontrer qu'en défendant C.B._ dans une procédure pénale relative à des infractions contre le patrimoine, dont la partie plaignante est A.B._, alors qu'il avait représenté ce dernier durant environ 20 ans, en particulier dans ses affaires pécuniaires, le recourant s'est placé dans une situation de conflit d'intérêts concrète interdite par l'art. 12 let. c LLCA. En le contraignant à renoncer à postuler en faveur de C.B._, l'arrêt entrepris ne viole donc pas le droit fédéral.
4.
Compte tenu de l'issue du litige, le recourant supportera les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Commission du Barreau et à la Cour de justice de la République et canton de Genève, Chambre administrative, ainsi qu'au Département fédéral de justice et police.
Lausanne, le 2 novembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette