Faits:
A. A.a Le 20 septembre 2004, A._ a confié la défense de ses intérêts à l'avocat X._ dans le cadre d'un litige matrimonial. Une procédure de divorce a été introduite en 2006 devant le Tribunal de la Gruyère.
Le 25 juillet 2006, Me X._ a déposé une demande d'assistance judiciaire au nom de A._, en soulignant que la requête serait au besoin retirée lorsque la situation de son client, en relation avec l'héritage de son père décédé peu auparavant en Espagne, serait établie.
Le 21 août 2006, dans l'attente de la décision sur l'assistance judiciaire, X._ a demandé à son client une avance de frais de 3'000 fr., qui a été payée. Le 25 janvier 2007, l'avocat a requis une seconde provision de 2'152 fr., qui n'a pas été versée. Le 13 février 2007, il a envoyé à A._ une note d'honoraires de 2'622 fr. après déduction de la provision de 3'000 fr. qui est demeurée impayée.
Le 15 février 2007, A._ a résilié le mandat de l'avocat X._. Ce dernier a engagé, le 12 mars 2007, une poursuite contre son ancien client en paiement de la note d'honoraires précitée.
A.b Par décision du 5 mars 2007, la Présidente du Tribunal civil de la Gruyère a accordé l'assistance judiciaire à A._ et nommé l'avocat X._ comme défenseur d'office jusqu'au 15 février 2007.
Les 19 avril et 1er mai 2007, A._ a exigé de Me X._ la restitution de l'avance de frais de 3'000 fr. versée, dès lors que l'assistance judiciaire avait été accordée, ce que l'avocat a refusé par lettres du 24 avril et 3 mai 2007, au motif que l'assistance judiciaire n'était pas justifiée.
B. Le 11 mai 2007, A._ a saisi la Commission du Barreau du canton de Fribourg (ci-après: la Commission) d'une plainte en raison notamment de la note d'honoraires envoyée par l'avocat X._ et de la poursuite engagée par celui-ci.
Le 15 janvier 2009, l'avocat X._ a annoncé à la Commission qu'il avait consigné les 3'000 fr. versés par A._ au greffe du Tribunal de la Gruyère. Au 1er octobre 2009, il n'avait toujours pas déposé et fait fixer sa liste de frais pour l'assistance judiciaire.
Par décision du 13 octobre 2009, la Commission a prononcé un avertissement à l'encontre de l'avocat, lui impartissant un délai échéant le 30 novembre 2009 pour déconsigner les 3'000 fr. déposés auprès du greffe du Tribunal de la Gruyère et régler comptes avec A._. La Commission a en substance reproché à X._ d'avoir violé les règles de la profession d'avocat en refusant de restituer à A._ la provision versée, alors qu'il savait que la demande d'assistance judiciaire avait été admise, tout en omettant - simultanément et consciemment - de déposer et faire fixer sa liste de frais découlant de l'assistance judiciaire.
Dès réception de cette décision, X._ a déposé sa liste de frais et, le 27 octobre 2009, la Présidente du Tribunal civil de la Gruyère a arrêté l'indemnité du défenseur d'office à 3'518 fr. 30.
X._ a recouru contre la décision de la Commission du 13 octobre 2009 auprès de la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal), qui l'a débouté par arrêt du 14 avril 2011.
C. A l'encontre de cet arrêt, X._ dépose un recours en matière de droit public au Tribunal fédéral, dans lequel il conclut principalement à ce qu'aucun avertissement ne soit prononcé à son encontre et à ce que le montant de 3'000 fr. consigné auprès du greffe du Tribunal de la Gruyère à Bulle soit déconsigné en faveur de l'Etat de Fribourg. Subsidiairement, il demande que la cause soit renvoyée au Tribunal cantonal pour instruction complémentaire et nouvelle décision.
Le Tribunal cantonal et la Commission concluent au rejet du recours.
D. Par ordonnance du 24 juin 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (loi sur les avocats, LLCA; RS 935.61), qui relève du droit public au sens de l'<ref-law> (cf. arrêt 2C_247/2010 du 16 février 2011 consid. 1). Dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), le recours a été déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). En outre, il ne tombe pas sous le coup des exceptions mentionnées à l'<ref-law>. Par conséquent, il convient d'entrer en matière.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire. En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (art. 105 al. 2 et 97 al. 1 LTF).
3. A l'instar de la Commission, le Tribunal cantonal a considéré en substance que le recourant avait violé ses devoirs d'avocat au sens de l'<ref-law> en ne donnant pas suite aux injonctions de son ancien client, les 19 avril et 1er mai 2007, tendant à obtenir la restitution de l'avance de frais de 3'000 fr. versée avant l'octroi de l'assistance judiciaire, sans pour autant déposer, dans un délai raisonnable, sa liste de frais qui aurait permis de fixer le montant alloué au défenseur d'office, ce qui aurait clarifié la situation. Même si l'avocat estimait que les conditions de l'octroi de cette aide publique n'étaient plus réunies, il ne lui appartenait pas de décider de son chef de retenir l'avance versée par son client, alors que l'assistance judiciaire avait été accordée et était entrée en force pour les mêmes prestations.
4. Le recourant commence par se plaindre d'arbitraire dans l'établissement des faits.
4.1 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou lorsqu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4.2 p. 560).
4.2 Tout d'abord, le recourant affirme qu'il était insoutenable de lui reprocher de n'avoir pas déposé sa liste de frais "dans un délai raisonnable", alors que la loi fribourgeoise sur l'assistance judiciaire, applicable en octobre 1999, n'imposait aucun délai, à l'instar du reste de la législation actuellement en vigueur.
Il n'est pas contesté que la décision octroyant l'assistance judiciaire date de mars 2007 et qu'au 1er octobre 2009, le recourant n'avait toujours pas déposé sa liste de frais. En pareilles circonstances, il n'est à l'évidence pas arbitraire de retenir que ladite liste n'a pas été déposée dans un délai raisonnable, peu importe que la législation cantonale n'impose pas de délai à l'avocat pour ce faire. Savoir si un tel retard peut justifier de sanctionner le recourant en application de la LLCA, ce que celui-ci conteste, relève pour sa part du droit et non pas de l'arbitraire dans l'établissement des faits. Cette question sera examinée ci-après.
4.3 Dans la mesure où le recourant invoque l'arbitraire en contestant avoir eu du retard dans l'envoi de la facture à son ancien client, son argumentation n'est pas pertinente, car il n'a pas été sanctionné pour ce motif. Le grief n'étant pas de nature à faire apparaître la décision entreprise comme arbitraire dans son résultat, il n'a pas à être examiné plus avant.
4.4 Le recourant prétend que le Tribunal cantonal a arbitrairement constaté qu'il avait "intentionnellement retenu le montant consigné". Il rappelle que la consignation du montant de 3'000 fr. a été effectuée en cours de procédure à la demande de la Commission, ce qui lui a enlevé la maîtrise de cette somme. Il n'en reste pas moins que, de mars 2007 à janvier 2009, moment de la consignation de ce montant auprès du greffe du Tribunal de la Gruyère, le recourant a refusé de le restituer à son ancien client, alors qu'il en avait la maîtrise. On ne voit dès lors pas que le Tribunal cantonal soit arrivé à un résultat choquant dans l'appréciation qu'il a faite à cet égard du comportement du recourant, qui porte sur la période antérieure à la consignation.
4.5 Le recourant se plaint enfin que le Tribunal cantonal ait omis de manière insoutenable de constater et de prendre en considération que le nouvel avocat de A._ avait reconnu que son client devrait rembourser, le moment venu, l'assistance judiciaire obtenue. On ne voit pas que cet élément soit déterminant pour évaluer le comportement du recourant. Au demeurant, celui-ci perd de vue que le fait que la décision d'assistance judiciaire puisse être révoquée ou que A._, revenu à meilleure fortune, puisse être tenu de rembourser à l'Etat le montant alloué à titre de l'assistance judiciaire ne modifie pas les obligations du défenseur d'office s'agissant de la restitution de l'avance de frais, alors que la décision d'assistance judiciaire déploie ses effets.
Par conséquent, les critiques relatives à l'arbitraire dans l'établissement des faits doivent être rejetées dans la mesure de leur recevabilité. Partant, c'est à la seule lumière des faits constatés dans l'arrêt attaqué (<ref-law>) que la conformité au droit de l'arrêt attaqué sera vérifiée.
5. Le recourant soutient que le Tribunal cantonal a violé la LLCA. Il lui reproche en particulier de n'avoir pas fait le lien entre l'<ref-law> et la let. g de la même disposition consacrée à l'assistance judiciaire. Il conteste en outre avoir violé de manière significative la LLCA alors qu'il se devait, en tant que défenseur d'office, de veiller à la sauvegarde des deniers publics.
5.1 L'<ref-law> dispose que l'avocat exerce sa profession avec soin et diligence. Cette disposition constitue une clause générale, qui ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais aussi avec les autorités et ses confrères (ALAIN BAUER/PHILIPPE BAUER, Commentaire romand, Bâle 2010, n. 14 ad <ref-law>, p. 224). Il suppose toutefois l'existence d'un manquement significatif aux devoirs de la profession (cf. arrêt 2C_379/2009 du 7 décembre 2009 consid. 3.2 et les références). Il appartient en particulier à l'avocat de rendre compte à son client, à première demande, non seulement sur la conduite du mandat et l'évolution du dossier, mais aussi au sujet de toute circonstance susceptible de concerner le client, en particulier s'agissant des frais et honoraires (MICHEL VALTICOS, Commentaire romand, Bâle 2010, n. 29 ad <ref-law>, p. 98). La facturation d'honoraires à un client au bénéfice de l'assistance judiciaire, même si le montant reçu de l'Etat ne couvre pas l'entier des honoraires en question, constitue une violation des devoirs professionnels qui mérite d'être sanctionnée disciplinairement (arrêts 2C_379/2009 du 7 décembre 2009 consid. 3.1; 2A.183/2004 du 26 juillet 2004 consid. 2.3). Par conséquent, un avocat dont le client a obtenu l'assistance judiciaire et qui, malgré cela, ne donne pas suite aux requêtes de celui-ci tendant au remboursement des avances de frais versées, viole ses devoirs au sens de l'<ref-law>.
Contrairement à ce que soutient le recourant, le fait que l'avocat soit, en application de l'art. 12 let. g LLCA, tenu d'accepter les défenses d'office et les mandats d'assistance judiciaire, ne modifie ni n'atténue les devoirs précités. Certes, l'avocat désigné dans le cadre de l'assistance judiciaire est lié à l'Etat par un rapport de droit public (WALTER FELLMANN, Kommentar zum Anwaltsgesetz [Walter Fellmann/ Gaudenz G. Zindel (éds)], 2e éd. Zurich/Bâle/Genève 2011, n. 144 ad <ref-law>, p. 293) et possède une prétention en indemnisation de nature publique envers les autorités, sur la base de la législation applicable, pour autant que les conditions à l'octroi de l'assistance judiciaire soient réalisées (<ref-ruling> consid. 2b p. 325; arrêt 2C_379/2009 du 7 décembre 2009 consid. 3.1). Selon la pratique genevoise citée par le recourant, ce lien particulier avec l'Etat va jusqu'à imposer à l'avocat une obligation d'informer le service compétent en matière d'assistance juridique de toute amélioration sensible de la situation financière de son client et aussi d'annoncer audit service les provisions sur honoraires que ledit client aurait versées (cf. MICHEL VALTICOS/LAURA JACQUEMOUD-ROSSARI, La jurisprudence de la Commission du barreau 2002-2006, in: SJ 2007 II 255, p. 284 s.). Le Tribunal fédéral n'a pas à examiner le bien-fondé de cette pratique cantonale. En effet, on ne peut en tous les cas pas en déduire que le défenseur d'office serait en droit de se substituer à l'autorité compétente et de se comporter comme si son mandant ne remplissait plus les conditions de l'assistance judiciaire, alors qu'une décision en force l'octroie.
5.2 Il en découle que le recourant ne pouvait, sous le couvert de l'art. 12 let. g LLCA, présumer lui-même du caractère infondé de la décision d'assistance judiciaire et en tirer les conséquences, alors que celle-ci était entrée en force. Partant, vis-à-vis de l'autorité, il restait tenu de fournir sa liste de frais, permettant de calculer son indemnité. Même si la loi ne fixe aucun délai pour ce faire, l'avocat, dont le mandat a été résilié le 15 février 2007 et qui a appris sa nomination d'office en mars 2007, mais qui, en octobre 2009, soit plus de deux ans et demi après, n'a toujours pas déposé sa liste de frais manque indéniablement à son devoir général de diligence. Vis-à-vis de son ancien client, il ne pouvait conserver l'avance de frais prélevée, dès lors que celui-ci avait obtenu l'assistance judiciaire. Il devait donc lui remettre spontanément les 3'000 fr. versés à ce titre dès la décision d'assistance judiciaire en sa possession. L'avocat qui, non seulement ne l'a pas fait, mais a refusé de donner suite à deux requêtes de son ancien client tendant à la libération des 3'000 fr. des 24 avril et 3 mai 2007, a également manqué à ses devoirs. Enfin, comme le comportement de l'avocat ne peut se justifier par le respect de ses obligations envers l'Etat découlant de l'assistance judiciaire, on ne saurait le suivre lorsqu'il affirme qu'il ne s'agit pas de violations significatives des devoirs de sa profession. Dans ces circonstances, le Tribunal cantonal n'a pas violé le droit fédéral en considérant que le recourant avait enfreint l'<ref-law>.
6. Le recourant fait valoir que le principe de la proportionnalité a été violé. Il estime qu'un simple rappel à l'ordre informel aurait suffit, au cas où il aurait eu un comportement répréhensible, ce qu'il conteste.
6.1 L'<ref-law>, consacré aux mesures disciplinaires, prévoit des sanctions allant de l'avertissement à l'interdiction de pratiquer. L'avertissement est donc la mesure disciplinaire la moins grave et elle est en principe réservée aux cas bénins (BAUER/BAUER, op. cit., n.. 58 et 59 ad <ref-law>, p. 233 s.). Il appartient en premier lieu à l'autorité de surveillance compétente de déterminer les mesures disciplinaires à prendre. Si le Tribunal fédéral revoit librement l'application des règles professionnelles, il s'impose en revanche une certaine retenue lors de l'examen de la sanction disciplinaire prononcée. Il n'intervient que lorsque l'autorité de surveillance a excédé les limites de son pouvoir d'appréciation, au point que la sanction apparaît clairement disproportionnée et confine à l'arbitraire (arrêts 2C_257/2010 du 23 août 2010 consid. 6; 2C_783/2008 du 4 mai 2009 consid. 3.1).
6.2 Au regard des faits qui sont reprochés au recourant, on ne saurait le suivre quand il prétend qu'il n'a pas commis de violation significative des règles professionnelles (cf. supra consid. 5.2). Par conséquent, il convenait de le sanctionner. Comme il n'était pas possible de prononcer à son encontre une mesure disciplinaire plus légère qu'un avertissement, les autorités cantonales, en infligeant cette peine, n'ont donc manifestement pas excédé leur pouvoir d'appréciation.
6.3 En relation avec la peine prononcée, le recourant se plaint d'une motivation insuffisante qui constituerait une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Ce grief est à l'évidence infondé.
6.3.1 Le droit d'être entendu implique certes pour l'autorité l'obligation de motiver sa décision, mais ne lui impose pas d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; l'autorité peut, au contraire, se limiter à ceux qui, sans arbitraire, lui paraissent pertinents pour fonder sa décision (<ref-ruling> consid. 3.3.1 p. 677; <ref-ruling> consid. 4.1 p. 88). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté (arrêt 2C_908/2010 du 7 avril 2011 consid. 3.1).
6.3.2 A la lecture de l'arrêt attaqué, on saisit pour quels motifs l'autorité a prononcé une sanction disciplinaire, en l'occurrence un simple avertissement. On ne voit donc pas que l'on puisse lui reprocher, sous l'angle de l'art. 29 al. 2 Cst. de ne pas avoir examiné tous les critères que la doctrine préconise avant de rendre une telle décision. Par ailleurs, la lecture de l'arrêt attaqué révèle clairement que le Tribunal cantonal a considéré que la violation des règles professionnelles commise par le recourant avait l'intensité suffisante pour justifier un avertissement. L'obligation de motiver n'imposait donc pas aux juges de se prononcer au surplus sur l'argumentation du recourant concernant le caractère significatif du manquement, celui-ci étant implicitement admis.
7. Enfin, le Tribunal cantonal n'a pas retenu de manquement de l'avocat en relation avec une éventuelle imputation de l'avance de frais sur le montant dû par l'Etat en relation avec l'assistance judiciaire (ce que le recourant souligne lui-même). Par conséquent, il n'y a pas lieu d'examiner les critiques formulées sur l'appréciation par le Tribunal fédéral de la pratique judiciaire que le recourant invoquait à ce sujet.
8. Au vu de ce qui précède, il convient de rejeter le recours dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à la Commission du Barreau et à la Ie Cour administrative du Tribunal cantonal du canton de Fribourg.
Lausanne, le 25 août 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton