Faits: A. Le 6 octobre 2011, Me X._, avocat, a sollicité auprès du Service de l'aide sociale de la Ville de Fribourg l'aide matérielle pour l'un de ses clients (dénommé ci-après: le requérant). Ce dernier était domicilié à Fribourg, alors que sa femme, dont il était séparé depuis 2006, vivait au Portugal. Par lettre du 21 octobre 2011, le Service de l'aide sociale a invité le requérant à fournir des renseignements sur la situation financière de son épouse, en indiquant les raisons pour lesquelles celle-ci ne pouvait lui apporter un soutien financier. Le 3 novembre 2011, le requérant a indiqué que sa femme était sans activité lucrative et vivait auprès de ses parents. Estimant les renseignements fournis insuffisants, le Service de l'aide sociale a renouvelé sa demande le 28 novembre 2011. Le requérant a précisé, le 3 février 2012, que son épouse était soutenue financièrement par ses parents et qu'elle n'était pas en mesure de subvenir à ses besoins à lui; elle était venue en Suisse de janvier à octobre 2011 en raison des problèmes de santé de son mari, mais ce séjour temporaire n'impliquait aucune volonté d'intégration en Suisse, ni de reprise de la vie commune. Par décision du 28 février 2012, la Commission sociale de la Ville de Fribourg (ci-après: la Commission sociale) a refusé de couvrir le budget social du requérant, au motif qu'il appartenait prioritairement à son épouse de subvenir à son entretien. La Commission sociale relevait à ce propos que l'épouse aurait pu prendre un emploi temporaire à Fribourg dans les services communaux. Au lieu de cela, elle avait préféré quitter la Suisse. Dès lors, le couple devait faire le choix de son lieu d'établissement au regard du principe de la subsidiarité de l'aide sociale: soit en Suisse, où l'épouse pourrait mettre à profit sa capacité de travail, soit au Portugal où le requérant disposerait d'un hébergement gratuit. La Commission sociale précisait enfin que si l'intéressé devait se trouver sans gîte ni couvert, il pourrait obtenir une aide d'urgence (bons de repas et de nuitées). Par ailleurs, elle a refusé au requérant le bénéfice de l'assistance judiciaire pour la procédure administrative. Le 9 mars 2012, le requérant a formé une réclamation contre ce prononcé, qui a été rejetée par décision de la Commission sociale du 2 avril 2012; cette décision a été retirée au guichet postal le 16 avril 2012. Le recours de l'intéressé auprès du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a été rejeté, par arrêt du 22 août 2012. Le Tribunal fédéral a également rejeté le recours en matière de droit public du requérant, par arrêt du 11 avril 2013 (cause 8C_781/2012), pour le motif qu'il avait manqué à son devoir de collaboration avec le Service d'aide sociale afin d'établir son indigence. B. Parallèlement et avant la notification de la décision sur réclamation, soit le 5 avril 2012, le requérant a, par l'intermédiaire de son conseil, déposé plainte pénale contre les membres de la Commission sociale pour tentative de contrainte. Il a également pris des conclusions civiles en raison du tort moral que les pressions subies de la part de la Commission sociale lui avaient causé. Le 11 mai 2012, le Procureur général fribourgeois a rendu une ordonnance de non-entrée en matière et mis les frais à la charge de l'Etat. C. Le 12 juin 2012, la Commission sociale a dénoncé Me X._ à la Commission du barreau du canton de Fribourg (ci-après: la Commission du barreau) pour avoir déposé plainte contre ses membres. Par décision du 12 novembre 2012, la Commission du barreau a prononcé un avertissement à l'encontre de Me X._ et mis les frais de la cause à sa charge, par 500 fr. Se fondant en particulier sur l'ordonnance de non-entrée en matière du 11 mai 2012, elle a pris acte de ce que la Commission sociale n'avait ni l'intention de contraindre le requérant à quitter la Suisse, ni celle de l'obliger à engager une procédure matrimoniale contre son épouse. Faute d'éléments à charge suffisants qui auraient pu justifier le dépôt d'une plainte pénale, l'avocat n'était pas légitimé à recourir à ce moyen de droit qu'il avait utilisé abusivement, violant son devoir de diligence au sens de l'art. 12 let. a de la loi fédérale sur la libre circulation des avocats. X._ a recouru contre cette décision auprès du Tribunal cantonal, en concluant à ce qu'aucune mesure ou sanction ne soit prononcée à la suite de la dénonciation du 12 juin 2012. Par arrêt du 5 novembre 2013, le Tribunal cantonal a rejeté le recours et mis les frais à la charge du recourant, par 800 fr. Il a tout d'abord constaté que les membres de la Commission sociale ne faisaient que leur travail en questionnant le client du recourant et en lui présentant des alternatives qui auraient pu clarifier son droit aux prestations re- quises. Par le dépôt d'une plainte pénale, le recourant avait voulu intimider l'autorité avant la prise de décision sur réclamation afin qu'elle ne pousse plus avant ses investigations. Or, l'obligation de diligence de l'avocat lui interdit de recourir à ce moyen lorsqu'aucun indice ne laisse supposer qu'une infraction pénale a été commise. D. X._ forme auprès du Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 5 novembre 2013, dont il demande l'annulation, sous suite de frais. Il conclut également à ce qu'aucune mesure ou sanction ne soit prononcée à la suite de la dénonciation du 12 juin 2012 et à l'octroi d'une indemnité de partie pour le temps consacré à sa propre défense, soit 1' 500 fr. pour la procédure de recours cantonale et 3'000 fr. pour la procédure de recours fédérale. Le Tribunal cantonal renvoie aux considérants de son arrêt et conclut au rejet du recours, de même que la Commission du barreau.