Faits :
A.
A.a. Me A._ exerce la profession d'avocat et est inscrit au barreau de Genève depuis le 12 novembre 1997. Entre 2005 et 2008, il a été le conseil de B._. En avril 2008, ce dernier a résilié le mandat confié à A._.
A.b. Le 4 juin 2013, l'Office des poursuites du district de Nyon (ci-après: l'Office des poursuites) a établi, à la requête de A._, un commandement de payer à l'encontre de B._ pour un montant de 30'000 fr. avec intérêts à 5% dès le 29 mai 2008. La créance correspondait à un solde d'honoraires pour l'activité déployée entre le 15 février 2005 et le 29 mai 2008. Invité par B._ à produire le détail de ses honoraires, A._ a répondu qu'il les communiquerait au plus vite.
Le 7 juillet 2013, l'Office des poursuites a formellement notifié le commandement de payer à B._ (poursuite n° ccc), qui a fait opposition. Le 7 juin 2014, l'Office des poursuites a notifié un nouveau commandement de payer pour les mêmes motifs (poursuite n° ddd). B._ a à nouveau fait opposition.
A.c. Le 26 juin 2014, le nouveau conseil de B._ a invité A._ à retirer les poursuites et à lui faire parvenir une note d'honoraires et de débours détaillée. A défaut, il a indiqué qu'il saisirait la Commission du barreau de la République et canton de Genève (ci-après: la Commission du barreau). Il a précisé que le mandat avait été résilié le 4 avril 2008, de sorte que les prétentions d'honoraires étaient prescrites.
Le 3 juillet 2014, A._ a répondu qu'une note de frais lui serait adressée le 4 août 2014 au plus tard. Il était par ailleurs disposé à retirer les commandements de payer, sous condition que B._ renonce expressément à se prévaloir de la prescription. Le 23 juillet 2014, B._ a fait parvenir à son ancien avocat la déclaration de renonciation à se prévaloir de la prescription, sous condition que celle-ci ne soit pas déjà acquise au moment du dépôt de la réquisition de poursuite n° ccc. Le 4 septembre 2014, A._ lui a adressé copie du contrordre à la poursuite n° ddd. B._ a, par la suite, invité son ancien conseil à retirer la poursuite n° ccc et à procéder à l'envoi de sa note d'honoraires.
B.
Le 7 novembre 2014, B._ a déposé auprès de la Commission du barreau une dénonciation visant A._. Il lui a demandé d'intervenir auprès de son ancien conseil afin qu'il établisse une note d'honoraires et retire la poursuite n° ccc.
Le 15 janvier 2015, A._ a confirmé à la Commission du barreau qu'il était d'accord de retirer toute poursuite à l'encontre de son ancien client à la condition que celui-ci renonce à se prévaloir de la prescription sans formuler d'autres conditions. Il a expliqué qu'une perte de données informatiques durant le printemps 2009 et l'été 2014 avait fortement retardé la facturation et le recouvrement d'anciennes factures laissées ouvertes. Le 19 mars 2015, A._ a transmis à la Commission du barreau les pages impaires du décompte de ses heures de travail. L'intégralité de sa note d'honoraires a été remise à la Commission du barreau le 7 septembre 2015.
Par décision du même jour, la Commission du barreau a prononcé un avertissement à l'encontre de A._. Elle a considéré que ce dernier avait violé son obligation d'exercer sa profession avec soin et diligence en refusant de retirer la première des deux réquisitions de poursuites après avoir pourtant obtenu la renonciation à se prévaloir de la prescription demandée. A._ a contesté ce prononcé devant la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice).
Le 8 janvier 2016, B._ s'est vu notifier un nouveau commandement de payer (poursuite n° eee) pour un montant de 30'000 fr. correspondant au solde d'honoraires de A._. Une nouvelle plainte a été adressée à la Commission du barreau, dont l'instruction a été suspendue jusqu'au prononcé de l'arrêt de la Cour de justice.
Par arrêt du 4 octobre 2016, la Cour de justice a rejeté le recours de l'intéressé. Laissant ouverte la question de la prescription, l'instance précédente a jugé que le comportement du recourant était, dans tous les cas, incompatible avec la profession d'avocat. Dans l'hypothèse où la créance de l'intéressé n'était pas prescrite au moment de la première réquisition de poursuite, l'obstination de celui-ci à ne pas retirer la poursuite n'était pas justifiée. A l'inverse, si sa créance était déjà prescrite, la démarche de l'intéressé n'avait pas d'autre finalité que celle de priver son débiteur de pouvoir se prévaloir de l'exception de prescription.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement d'annuler l'arrêt du 4 octobre 2016 de la Cour de justice, de constater que l'intéressé n'avait pas violé la LLCA et de dire que la procédure est classée. Subsidiairement, l'intéressé demande le renvoi à l'instance précédente pour nouvelle décision dans le sens des considérants.
La Commission renonce se réfère à sa décision et à l'arrêt attaqué. La Cour de justice déclare persister dans les considérants et le dispositif de son arrêt.

Considérant en droit :
1.
1.1. Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61), qui relève du droit public au sens de l'<ref-law>. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte. Au surplus, le recours a été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est par conséquent recevable, sous réserve de ce qui suit.
1.2. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 4 p. 122; arrêts 2C_490/2014 du 26 novembre 2014 consid. 1.2; 2C_199/2010 du 12 avril 2011 consid. 3.3, non publié in <ref-ruling>). Dans la mesure où le recourant conclut, parallèlement à l'annulation de l'arrêt du 4 octobre 2016 de la Cour de justice, à ce qu'il soit dit et constaté "que Me A._ n'a pas violé la LLCA", il formule une conclusion constatatoire qui est irrecevable.
1.3. Le recours est également irrecevable en tant qu'il demande le classement de la procédure. Pour autant qu'on comprenne la conclusion du recourant, celle-ci se fonde sur une nouvelle plainte que B._ a adressée à la Commission du barreau. Cette nouvelle procédure ne fait cependant pas l'objet de la présente cause.
2.
Le recourant se plaint d'arbitraire dans l'établissement des faits.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. En vertu de l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 1.5 p. 129 s.).
2.2. Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.3 p. 319). ll appartient à la partie recourante de démontrer l'arbitraire par une argumentation répondant aux exigences de l'<ref-law>. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356).
2.3. En l'espèce, le recourant reproche à l'instance précédente de n'avoir pas retenu qu'il avait proposé le retrait de la procédure, mais que son ancien mandant avait refusé d'entrer en matière. Il se fonde en cela sur le contenu de ses courriers des 13 février et 20 mars 2015 versés au dossier, ainsi que sur le courrier de son ancien client du 13 avril 2015. D'après l'intéressé, ces pièces étaient de nature à démontrer sa " volonté de parvenir à un accord " de même que sa " parfaite bonne foi " (cf. mémoire de recours, p. 8). On peut se demander si ce grief est recevable, dans la mesure où le recourant se borne à reprendre la critique qu'il avait formulée devant l'autorité cantonale sans développer de motivation topique. Quoi qu'il en soit, contrairement à ce que soutient le recourant, le contenu de ces courriers a été dûment relaté dans l'arrêt attaqué. Les juges cantonaux ont en effet retenu que le recourant avait déclaré qu'il était disposé à retirer le commandement de payer, sous condition que son ancien mandant renonce à se prévaloir de la prescription. D'après l'arrêt entrepris, dite proposition avait été renouvelée par l'intéressé dans ses courriers du 15 janvier 2015, 13 février 2015 (cf. arrêt attaqué, consid. 15) et 20 mars 2015 (cf arrêt attaqué, consid. 19). Contrairement à ce que soutient le recourant, la Cour de justice a également mentionné le contenu du courrier du 13 avril 2015, dans lequel B._ a déclaré qu'il refusait de discuter tant que les honoraires n'étaient pas justifiés et le commandement de payé retiré. La Cour de justice a toutefois considéré que ces différents courriers n'étaient pas déterminants puisqu'ils ne remettaient pas en cause le fait - non contesté par le recourant - que ce dernier exigeait de son ancien client une renonciation inconditionnelle à la prescription. Or, savoir si une telle attitude est contraire à l'obligation d'exercer sa profession avec soin et diligence relève du droit et sera examinée ci-après (cf. infra consid. 4). Pour le reste, le recourant discute librement les faits retenus dans l'arrêt attaqué, sans invoquer l'arbitraire ni démontrer le caractère manifestement inexact des éléments retenus par la Cour de justice. Une telle argumentation n'est pas admissible sous l'angle de l'<ref-law>. Dans la suite du raisonnement, le Tribunal fédéral se fondera donc exclusivement sur les faits établis par l'autorité précédente.
3.
Invoquant l'art. 29 al. 2 Cst., le recourant se plaint d'une violation de son droit d'être enten du.
3.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.3 p. 282). L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 298 s. et les références citées).
3.2. Le recourant reproche à la juridiction cantonale de n'avoir pas donné suite à sa requête portant sur une comparution personnelle des parties. L'intéressé perd cependant de vue que cette disposition ne confère pas le droit d'être entendu oralement par l'autorité (cf. <ref-ruling> consid. 9.6.1 p. 76). Il ressort du reste de l'arrêt attaqué que le recourant avait largement pu faire valoir ses arguments dans ses différentes écritures, de sorte qu'il ne se justifiait pas de donner suite à sa requête d'audition. Le recourant ne démontre pas en quoi une telle appréciation anticipée des preuves serait arbitraire. En tant que le recourant se plaint de ce qu'il n'aurait pas connu les raisons pour lesquelles la Commission du barreau aurait occulté certaines pièces, il critique en réalité un défaut de motivation. Or dans la mesure où ce grief est dirigé contre la décision de première instance, elle est irrecevable en raison de l'effet dévolutif du recours auprès de la Cour de justice (cf. arrêts 2C_621/2015 du 11 décembre 2016 consid. 1.4; 2C_449/2013 du 21 février 2014 consid. 1.3). Il en va de même du grief dirigé contre la Commission du barreau, selon lequel l'autorité aurait rendu sa décision sans entendre le recourant sur la question d'une éventuelle violation de l'<ref-law>. Le grief de violation du droit d'être entendu doit ainsi être rejeté.
4.
Le recourant conteste l'appréciation des autorités cantonales selon laquelle il aurait manqué à son obligation d'exercer sa profession avec soin et diligence.
4.1. L'<ref-law> énonce les règles professionnelles auxquelles l'avocat est soumis. Celui-ci doit notamment exercer sa profession avec soin et diligence (<ref-law>). Cette disposition constitue une clause générale (arrêt 2C_452/2011 du 25 août 2011 consid. 5.1) qui permet d'exiger de l'avocat qu'il se comporte correctement dans l'exercice de sa profession (FF 1999 5331, 5368). Il lui est en particulier interdit d'entreprendre des actes qui pourraient nuire aux intérêts de son client (WALTER FELLMANN, in Fellmann/Zindel (éd.), Kommentar zum Anwaltsgesetz, 2011, ad <ref-law> n° 25). L'<ref-law> suppose toutefois l'existence d'un manquement significatif aux devoirs de la profession (arrêts 2C_452/2011 précité, consid. 5.1; 2C_379/2009 du 7 décembre 2009 consid. 3.1). L'<ref-law> prévoit qu'en cas de violation d'une règle professionnelle, l'autorité de surveillance (cantonale) peut prononcer à l'encontre d'un avocat, entre autres mesures disciplinaires, un avertissement.
Le Tribunal fédéral revoit librement le point de savoir s'il y a eu violation des règles professionnelles (arrêts 2C_782/2015 du 19 janvier 2016 consid. 2; 2C_257/2010 du 23 août 2010 consid. 5.1) en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits.
Dans un arrêt publié aux <ref-ruling>, le Tribunal fédéral a précisé qu'un avocat ne violait pas l'obligation d'exercer sa profession avec soin et diligence en introduisant une poursuite sans avertissement préalable, même si l'inscription au registre des poursuites pouvait causer des désagréments à la personne visée. Dans cette affaire, l'avocat avait notifié un commandement de payer au débiteur de son client dans le but d'interrompre la prescription. La Cour de céans avait toutefois réservé le cas des poursuites abusives, en particulier lorsque le seul but de l'avocat était de porter atteinte au crédit du débiteur, ou lorsqu'un montant exagéré était indiqué à des seules fins chicanières (consid. 3.2.2 p. 278).
4.2. Dans le cas particulier, la Cour de justice a retenu que le recourant avait violé ses devoirs de soin et de diligence en refusant de retirer la poursuite qu'il avait introduite contre son ancien client, alors que ce dernier avait valablement renoncé à la prescription. Les juges cantonaux ont précisé que la pratique consistant à renoncer à se prévaloir de la prescription pour autant que celle-ci n'était pas déjà acquise était usuelle. La formulation de cette condition n'était du reste pas sans conséquence pour son ancien client. Si la créance du recourant n'était pas déjà prescrite au moment où celui-ci a déposé sa première réquisition de poursuite, la condition posée par B._ n'entraînait aucune péjoration de sa situation. Dans cette hypothèse, l'obstination de l'intéressé à ne pas retirer sa poursuite en raison de la formulation de cette condition n'était pas justifiée. En revanche, si la créance de l'avocat était déjà prescrite au moment de la première réquisition, la démarche du recourant n'avait d'autre finalité que celle de priver son débiteur de pouvoir se prévaloir de l'exception de prescription, ce qui était manifestement contraire à l'<ref-law>.
Le recourant met en avant " sa parfaite bonne foi " et sa volonté de trouver un accord avec son ancien client. Il n'avait agi que dans le soucis de se protéger " au maximum " afin de sauvegarder ses droits. D'après l'intéressé, ces éléments auraient dû conduire l'instance précédente à exclure tout comportement contraire aux devoirs de soin et de diligence de l'avocat. Cette argumentation ne convainc pas. D'après les constatations de fait de l'instance précédente, qui lient le Tribunal de céans (cf. <ref-law>), le recourant a introduit deux réquisitions de poursuite pour un montant de 30'000 fr., correspondant à un solde d'honoraires pour l'activité déployée entre le 15 février 2005 et le 29 mai 2008. Invité à produire des justificatifs, le recourant a attendu plus de deux ans avant de fournir une note complète d'honoraires. Le nouveau conseil de B._ a demandé le retrait des poursuites, précisant que les prétentions de l'intéressé étaient éteintes par la prescription. Le recourant a répondu qu'il était disposé à retirer les commandements de payer, sous condition que son ancien client renonce à se prévaloir de la prescription, ce qui a été fait le 23 juillet 2014. B._ a cependant subordonné sa renonciation à la condition que la prescription ne soit pas déjà acquise au moment du dépôt de la réquisition de poursuite. Comme l'a retenu à juste titre l'instance précédente, une telle formulation est usuelle en tant qu'elle vise à préserver les intérêts de la personne qui fait l'objet de poursuites. Exiger le retrait de cette condition équivaut, au mieux, à décevoir les attentes légitimes de son ancien client qui a valablement renoncé à la prescription et, au pire, à nuire à ses intérêts. Une telle manière de procéder compromet la confiance du public envers la profession d'avocat et porte atteinte aux devoirs de soin et de diligence que l'avocat, en tant qu'auxiliaire de la justice, est tenu de respecter. Contrairement à ce que soutient le recourant, les devoirs de soin et de diligence ne visent pas uniquement la relation que l'avocat entretient avec son client durant la durée du mandat mais s'étendent à tous les actes professionnels de l'avocat (cf. <ref-ruling> consid. 4 p. 279). Le comportement de l'intéressé est d'autant plus critiquable que ce dernier a introduit les poursuites contre son ancien client cinq ans après la résiliation du mandat et qu'il lui a fallu plus de deux ans pour fournir l'intégralité de ses notes d'honoraires. Comme l'a retenu l'instance précédente, ces circonstances imposaient une certaine retenue de la part du recourant dans les démarches visant au recouvrement de ses honoraires. A cela s'ajoute qu'aucune mise en demeure n'a été adressée à B._, ce qui dénote un manque de délicatesse de l'avocat envers son ancien client. Les explications du recourant quant à l'urgence de la situation ne sont pas convaincantes dans la mesure où l'intéressé a attendu cinq ans avant de réclamer le paiement de ses honoraires. Pour le reste, on peine à suivre le recourant lorsqu'il reproche à l'instance précédente d'avoir statué " au-delà des conclusions du dénonciateur ". Cette critique part de la prémisse selon laquelle la dénonciation se basait " exclusivement sur le caractère prétendument infondé des prétentions ". Or cela ne ressort pas des constatations de l'autorité précédente, sans que l'intéressé n'invoque ni ne démontre l' arbitraire dans l'établissement des faits (<ref-law>; cf. supra consid. 2.1). Quoi qu'il en soit, l'argument du recourant perd de vue que l'autorité administrative qui examine le bien-fondé d'une dénonciation peut décider librement de la suite qu'elle juge opportun de donner, sans être liée par la demande qui lui est soumise (PIERRE MOOR, Droit administratif, vol. 2, 3e éd. 2011, p. 616).
4.3. Au vu de ce qui précède, c'est à bon droit que l'autorité précédente a jugé, à l'instar de la Commission du barreau, que le recourant avait transgressé l'<ref-law> en refusant de retirer la poursuite qu'il avait introduite contre son ancien client, alors que ce dernier avait renoncé à la prescription. En outre, le recourant a été sanctionné par un simple avertissement, ce qui constitue la sanction disciplinaire la plus légère du catalogue prévu à l'<ref-law> (cf. REISER/VALTICOS, Sanctions disciplinaires applicables aux avocats, in Défis de l'avocat au XXIe siècle - Mélanges Dominique Burger, 2008, p. 125 ss, 139). Dans la mesure où la sanction est proportionnée aux circonstances, on ne peut pas reprocher à la Cour de justice, comme le fait le recourant, d'avoir excédé son pouvoir d'appréciation (cf. art. 5 al. 2 et 36 al. 3 Cst.; cf. arrêts 2C_1180/2013 du 24 octobre 2014 consid. 4.4; 2C_34/2011 du 30 juillet 2011 consid. 6.3).
5.
Les considérants qui précèdent conduisent au rejet du recours en matière de droit public dans la mesure où il est recevable. Succombant, le recourant supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à la Commission du Barreau du canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 13 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor