Faits:
A. Le 15 juin 2009, X._, avocat à C._, a été condamné par le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal), à une peine pécuniaire de 135 jours-amende à 200 fr., dont l'exécution a été assortie du sursis pendant un délai d'épreuve de deux ans, ainsi qu'à une amende de 1'500 fr. pour calomnie, insoumission à une décision de l'autorité et dénonciation calomnieuse. Le recours formé par l'avocat contre ce jugement a été rejeté par le Tribunal fédéral par arrêt du 1er février 2010 (cause 6B_591/2009). Il était en substance reproché à X._ d'avoir déposé, à l'encontre d'un autre avocat, une dénonciation pénale comportant un état de fait erroné, dans le dessein de faire ouvrir une poursuite pénale contre ce confrère et sa cliente, alors qu'il ne disposait d'aucun élément sérieux à l'appui de ses accusations. En outre, il avait transgressé une décision lui interdisant de diffuser un avis de droit et dénoncé deux autres confrères à la Chambre de surveillance des avocats en proférant des accusations dont il savait qu'elles étaient parfaitement infondées.
B. Le 10 février 2010, les deux avocats mis en cause devant la Chambre de surveillance des avocats ont signalé à la Présidente de l'Autorité cantonale de surveillance des avocats (ci-après: la Présidente) la condamnation pénale dont avait fait l'objet X._.
Le 23 avril 2010, la Présidente a radié X._ du registre cantonal des avocats, considérant que les faits pour lesquels ce mandataire professionnel avait été condamné pénalement n'étaient pas compatibles avec l'exercice de la profession d'avocat, de sorte que l'une des conditions personnelles requises pour être inscrit au registre faisait défaut.
Par arrêt du 21 janvier 2011, le Tribunal cantonal valaisan a rejeté le recours formé par X._ à l'encontre de la décision de la Présidente du 23 avril 2010, rejetant également la demande de récusation du Tribunal cantonal dans son ensemble et celle concernant la suspension de la procédure formées par l'avocat.
C. Contre cet arrêt, X._ interjette un recours en matière de droit public au Tribunal fédéral au terme duquel il conclut à l'annulation de la décision entreprise et à ce qu'il soit ordonné à l'Autorité cantonale chargée de tenir le registre des avocats de l'y inscrire et de le maintenir.
Par ordonnance présidentielle du 25 mars 2011, le Président de la IIe Cour de droit public a admis la requête d'effet suspensif formée parallèlement par l'avocat recourant. Comme la décision de radiation avait été exécutée avant même l'écoulement du délai de recours contre l'arrêt du 21 janvier 2011, il a, pour conférer un effet utile à l'octroi de l'effet suspensif, ordonné à ce que X._ soit réinscrit dans le registre des avocats du canton du Valais jusqu'à droit connu en la présente procédure.
La Présidente, le Tribunal cantonal et le Département fédéral de justice et police ont renoncé à se déterminer sur le recours. S'agissant de l'effet suspensif, la Présidente a toutefois relevé que, comme le jugement du Tribunal cantonal du 15 juin 2009 devrait en principe être éliminé prochainement de l'extrait privé du casier judiciaire du recourant en vertu de l'<ref-law>, l'octroi de l'effet suspensif reviendrait à rendre presque illusoire la procédure de radiation du registre cantonal des avocats.

Considérant en droit:
1. 1.1 Le litige concerne une décision de radiation d'un avocat du registre cantonal prise en application des art. 8 et 9 de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61). Il relève donc du droit public au sens de l'<ref-law> et ne tombe pas sous le coup de l'une des exceptions de l'<ref-law>. Par conséquent, interjeté par l'avocat partie à la procédure et directement touché par la décision attaquée (cf. art. 89 al. 1 let. a et b LTF), le recours en matière de droit public dirigé contre un jugement final (cf. <ref-law>) rendu par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42 et 100 al. 1 LTF).
1.2 L'intérêt à recourir doit être actuel, ce qui signifie qu'il doit exister au moment où le Tribunal fédéral statue (<ref-ruling> consid. 2.1 p. 41; <ref-ruling> consid. 1.1 p. 103). La Présidente, dans ses observations concernant l'effet suspensif, laisse entendre qu'il n'existerait plus, car la condamnation à une peine pécuniaire avec sursis infligée au recourant le 9 juin 2009 avec mise à l'épreuve de deux ans ne figurerait prochainement plus sur l'extrait privé de son casier judiciaire, en vertu de l'<ref-law>. Il est vrai que, selon cette disposition, lorsque le condamné a subi la mise à l'épreuve avec succès, la condamnation disparaît de l'extrait privé de son casier judiciaire, de sorte que l'avocat radié du registre en application de l'art. 9 en relation avec l'<ref-law> pour ce motif peut demander sa réinscription (PHILIPPE MEIER/CHRISTIAN REISER, ad <ref-law>, in: Commentaire romand de la loi sur les avocats [Michel Valticos et al. (éds)], Bâle 2010, p. 78 N 14; FRANÇOIS BOHNET/VINCENT MARTENET, Droit de la profession d'avocat, Berne 2009, p. 314 s.). Cette réinscription n'est toutefois pas automatique. Elle suppose que l'avocat concerné ait formulé une requête en ce sens, que l'autorité cantonale compétente l'ait admise, après avoir vérifié si les conditions nécessaires à la réinscription sont remplies et respecté les exigences de procédure posées à l'<ref-law> (ERNST STAEHELIN/CHRISTIAN OETIKER, ad <ref-law>, in: Kommentar zum Anwaltsgesetz [Fellmann/Zindel (éds)], 2ème éd., Zurich/Bâle/Genève 2011, p. 106 N 17 ss). Tant que ces démarches n'ont pas été accomplies, ce que ne prétend du reste pas la Présidente, l'intérêt actuel à statuer sur le bien-fondé de la radiation demeure. Au surplus, on ignore si le recourant a subi avec succès la mise à l'épreuve de deux ans prononcée.
Il convient donc d'entrer en matière, sous les réserves qui suivent.
2. 2.1 Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>). Seuls les griefs du recourant concernant le droit cantonal qui répondent à ces exigences seront donc examinés.
2.2 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées.
En début de mémoire, le recourant présente de façon détaillée sa propre version des faits et explique le contexte général de la "saga X._". Une telle argumentation, dans la mesure où elle s'écarte et complète les faits constatés dans l'arrêt attaqué, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (ATF <ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
3. Invoquant une violation de l'art. 30 Cst., le recourant conteste en premier lieu la compétence de la Présidente de l'Autorité de surveillance. Il soutient qu'en vertu de l'art. 3 de la loi valaisanne du 6 février 2001 sur la profession d'avocat pratiquant la représentation en justice (Loi sur la profession d'avocat; LPAv/VS; RS/VS 177.1), celle-ci est seulement habilitée à procéder à une surveillance administrative, mais non à une surveillance disciplinaire. La mesure prise ayant un caractère disciplinaire, elle devait émaner de la Chambre de surveillance des avocats, autorité compétente en vertu de l'art. 13 al. 1 LPAv/VS.
3.1 Selon son texte, l'art. 30 al. 1 Cst. ne s'applique qu'aux autorités ou magistrats qui exercent des fonctions juridictionnelles, le critère déterminant étant la nature fonctionnelle et non organique de l'autorité (<ref-ruling> consid. 2b p. 198 et les références citées; arrêt 5P.51/2002 du 28 octobre 2002 consid. 2.1). D'après la jurisprudence, une autorité de surveillance des avocats compétente pour prononcer une sanction disciplinaire n'exerce en principe pas des fonctions juridictionnelles et se rapproche d'une autorité administrative (cf. <ref-ruling> consid. 2b p. 231). Par conséquent, on peut douter que le grief du recourant relève de l'art. 30 al. 1 Cst.
La question peut toutefois demeurer indécise, dès lors que l'art. 29 al. 1 Cst. garantit également au justiciable une composition correcte de l'autorité administrative qui rend la décision initiale (cf. arrêts 2C_865/2010 du 13 avril 2011 consid. 2.4; 2P.26/2003 du 1er septembre 2003 consid. 3.4, in: RDAF 2006 I 574; GEROLD STEINMANN, ad art. 29 Cst., in: Die schweizerische Bundesverfassung - Kommentar, 2ème éd. [Bernhard Ehrenzeller et al. (éds)], Zurich/Bâle/Genève 2008, p. 587 s. N 18). Partant, pour éviter de tomber dans le formalisme excessif (cf. arrêt 5P.51/2002 du 28 octobre 2002 consid. 2.1), il convient d'examiner le grief, même si le recourant a invoqué l'art. 30 al. 1 et non pas l'art. 29 al. 1 Cst.
3.2 En l'occurrence, le grief est en tout état infondé. En effet, en tant que telle, la radiation n'est pas une sanction disciplinaire et ne présuppose pas la violation d'une règle professionnelle (MEIER/REISER, ad <ref-law>, in: op. cit., p. 76 N 3; BOHNET/MARTENET, op. cit., p. 309 N 699). La radiation a été prononcée non pas en raison d'un comportement du recourant sanctionné disciplinairement, mais parce que celui-ci ne répondait plus à l'une des conditions personnelles figurant à l'<ref-law>. Or, la législation valaisanne a institué, parallèlement aux autorités de surveillance chargées de la surveillance disciplinaire des avocats, dont la Chambre de surveillance des avocats en première instance (cf. art. 13 al. 1 let. a LPAv/VS), une autorité administrative en la personne du Président de l'Autorité cantonale de surveillance des avocats chargée de gérer le registre des avocats (art. 3 al. 1 LPAv/VS). Ce dernier a notamment pour tâches de procéder aux inscriptions, publications, communications et radiations utiles (let. c) et prend les autres mesures prévues par le droit fédéral se rapportant à la surveillance administrative (let. e). En vertu de cette répartition des compétences (procédure disciplinaire; surveillance administrative) dont rien ne permet de déduire qu'elle serait contraire au droit fédéral, on ne voit pas que la Présidente, en décidant de la radiation en application de l'<ref-law>, ait outrepassé ses compétences. Le fait qu'elle ait dû apprécier si le comportement du recourant était compatible avec la profession d'avocat n'a pas pour effet de conférer un caractère disciplinaire à la radiation.
4. Le recourant se plaint également de l'absence de tribunal indépendant et impartial au sens des art. 30 Cst. et 6 CEDH, en raison de la participation à l'arrêt attaqué des juges cantonaux A._ et B._, qui sont aussi membres de l'Autorité cantonale de surveillance des avocats, à l'instar de la Présidente.
4.1 Le recourant s'en prenant aux juges ayant participé à l'arrêt du Tribunal cantonal, son grief, contrairement au précédent, se rapporte à une autorité judiciaire au sens de l'art. 30 Cst. Il n'y a pas lieu de se demander si, par ailleurs, un litige concernant la radiation d'un avocat au registre relève aussi de l'art. 6 par. 1 CEDH, dès lors que cette disposition a, s'agissant de l'indépendance et de l'impartialité du tribunal, la même portée que l'art. 30 al. 1 Cst. (<ref-ruling> consid. 3.1 p. 210; <ref-ruling> consid. 1.1 p. 25).
4.2 Celui qui critique l'indépendance et l'impartialité des juges appelés à statuer doit présenter son grief sans tarder (cf. <ref-ruling> consid. 4.3 p. 496; <ref-ruling> consid. 5a p. 227 s.). Selon l'arrêt attaqué, le recourant, après avoir déposé son recours sur le plan cantonal le 21 mai 2010, a demandé au Tribunal cantonal la récusation des juges cantonaux A._ et B._ le 27 juillet 2010 avant les débats agendés en décembre 2010; rien ne permet donc de conclure à une demande tardive.
4.3 Il découle de l'<ref-law> que les décisions préjudicielles notifiées séparément et qui portent notamment sur une demande de récusation doivent être attaquées directement et ne peuvent plus être remises en cause ultérieurement avec la décision finale (cf. arrêts 6B_846/2009 du 26 janvier 2010 consid. 3.1, in: RtiD 2010 II p. 86; 8C_1020/2010 du 14 avril 2011 consid. 1.2). Il faut toutefois que l'autorité inférieure ait rendu et communiqué aux parties une décision formelle sur la question relevant de l'<ref-law> (cf. <ref-ruling> consid. 1.1 p. 568).
Le 16 septembre 2010, le juge cantonal saisi de la demande de récusation formée en juillet 2010 a notifié au recourant une décision écrite qui rejetait la requête, en indiquant la voie de droit ouverte auprès du Tribunal fédéral (<ref-law>). N'ayant pas recouru immédiatement à l'encontre de cette décision comme le lui imposait l'<ref-law>, le recourant ne peut plus, dans le cadre de son recours contre la décision finale, sous le couvert des art. 30 al. 1 Cst. et 6 par. 1 CEDH, contester la participation des deux juges ayant fait l'objet de la procédure de récusation précitée. Son deuxième grief est donc irrecevable.
5. En troisième lieu, le recourant reproche au Tribunal cantonal d'avoir commis un déni de justice formel en limitant son pouvoir d'examen d'une manière contraire à l'<ref-law> et à l'art. 29a Cst., car il n'aurait pas examiné librement les faits, en particulier le moyen tiré d'une violation du principe de la proportionnalité.
5.1 Dès lors que le Tribunal cantonal s'est exprimé sur les points contestés par le recourant, l'existence d'un déni de justice formel peut être d'emblée exclue. Restent les articles 110 LTF et 29a Cst.
5.2 En vertu de l'<ref-law>, le Tribunal cantonal, lorsqu'il statue en tant qu'autorité judiciaire de première instance, ne peut limiter son examen à l'arbitraire (cf. arrêt 1C_88/2011 du 15 juin 2011 consid. 4.3.3). La garantie de l'accès à un juge prévue par l'art. 29a Cst. impose pour sa part qu'en cours de procédure, une autorité judiciaire examine librement les faits et applique le droit d'office (cf. arrêt 1D_1/2011 du 13 avril 2011 consid. 2.5, destiné à la publication).
5.3 Contrairement à ce que soutient le recourant, il n'apparaît pas que le Tribunal cantonal ait restreint sa cognition d'une manière inadmissible. A l'appui de son argumentation, le recourant présente des passages limités de l'arrêt attaqué, mais sans les remettre dans leur contexte.
Ainsi, lorsqu'il affirme que le Tribunal cantonal a retenu que, s'agissant de radier un avocat du registre, l'autorité ne dispose d'aucune marge d'appréciation, le recourant perd de vue que les juges ont précisé que tel est le cas lorsque l'une des quatre conditions personnelles mentionnées à l'<ref-law> fait défaut. L'arrêt attaqué souligne toutefois que "l'autorité compétente dispose par contre d'une marge d'appréciation dans l'examen de la compatibilité d'une condamnation pénale avec la profession d'avocat". Une telle position correspond à la jurisprudence (cf. infra consid. 6.1) et n'est nullement critiquable.
Le recourant se méprend également lorsqu'il reproche au Tribunal cantonal de s'être érigé en autorité de cassation, refusant d'examiner la proportionnalité. En effet, même si les juges revoient librement les faits, leur contrôle sera évidemment plus restreint en l'absence de critiques précises. Or, s'agissant de la proportionnalité, les juges ont limité leur examen au motif que le recourant n'avait, dans son mémoire, pas avancé le moindre argument démontrant un excès du pouvoir d'appréciation de la Présidente. De plus, contrairement à ce qu'affirme le recourant, le Tribunal cantonal n'a pas renoncé à tout contrôle. Après avoir décrit dans la partie en fait les éléments ayant conduit à la condamnation du recourant, il a renvoyé à l'analyse approfondie figurant dans la décision initiale, à propos de laquelle il a lui-même pris position au consid. 3c de l'arrêt attaqué. On ne voit donc pas qu'en procédant de la sorte, on puisse reprocher aux juges cantonaux d'avoir violé les <ref-law> ou 29a Cst.
6. Le recourant conteste l'appréciation des autorités cantonales selon laquelle la condamnation pénale dont il aurait fait l'objet porterait sur des faits incompatibles avec la profession d'avocat.
6.1 L'article 8 LLCA énumère les conditions personnelles que l'avocat doit remplir pour être inscrit au registre cantonal. Parmi celles-ci figure l'exigence de ne pas avoir fait l'objet d'une condamnation pénale pour des faits incompatibles avec la profession d'avocat, à moins que cette condamnation ne figure plus sur l'extrait privé du casier judiciaire (al. 1 let. b). L'avocat qui ne remplit plus l'une des conditions d'inscription est radié du registre (<ref-law>). L'idée est que la relation de confiance qui doit exister entre l'avocat et son client peut être détruite lorsque l'avocat n'offre pas toutes les garanties de sérieux et d'honorabilité allant de pair avec la pratique du barreau (cf. MEIER/REISER, ad <ref-law>, in: op. cit., p. 60 N 15 et 18). Seules les infractions qui révèlent des faits incompatibles avec l'activité d'avocat sont visées, ce qui n'est par exemple pas le cas d'un excès de vitesse anodin (arrêts 2C_119/2010 du 1er juillet 2010 consid. 2.2; 2C_183/2010 du 21 juillet 2010 consid. 2.3 et les références citées), mais d'un faux dans les titres commis dans l'exercice de fonctions publiques (arrêt 2C_119/2010 précité consid. 2.4). En revanche, ces faits n'ont pas nécessairement besoin d'avoir été accomplis lors de l'activité professionnelle de l'avocat, mais peuvent aussi être survenus dans un contexte purement privé (cf. STAEHELIN/OETIKER, ad <ref-law>, in: op. cit., p. 75 N 17).
Pour déterminer si les faits pour lesquels l'avocat a été condamné sont ou non compatibles avec la profession d'avocat, l'autorité de surveillance dispose d'un large pouvoir d'appréciation. Dans ce cadre, elle est tenue de veiller au respect de la proportionnalité. Ainsi, il faut être en présence de faits d'une certaine gravité qui doivent toujours se trouver dans un rapport raisonnable avec la radiation (arrêts 2C_119/2010 du 1er juillet 2010 consid. 2.2; 2C_183/2010 du 21 juillet 2010 consid. 2.3). En revanche, dès que les circonstances dénotent l'existence d'une condamnation pour des faits incompatibles avec la profession d'avocat, l'autorité compétente doit procéder à la radiation en vertu de l'<ref-law>, sans qu'elle ne dispose plus d'aucune marge d'appréciation (arrêt 2C_119/2010 précité consid. 3).
6.2 En l'espèce, le recourant a été condamné pour dénonciation calomnieuse, insoumission à une décision de l'autorité et calomnie. Selon le jugement pénal du 15 juin 2009, il est en substance reproché au recourant d'avoir dénoncé pénalement un confrère, en présentant un état de fait erroné, d'avoir transgressé une décision judiciaire sur mesures provisionnelles lui interdisant, sous la menace des peines prévues à l'<ref-law>, de diffuser un avis de droit et, enfin, d'avoir dénoncé deux autres confrères à la Chambre de surveillance des avocats en les faisant apparaître non seulement comme des avocats à l'éthique douteuse, mais comme des personnes moralement peu honorables voire méprisables, alors qu'il ne pouvait ignorer la fausseté de ses accusations. Sans qu'il soit nécessaire d'entrer dans plus de détails, on ne voit pas que l'on puisse reprocher au Tribunal cantonal d'avoir excédé son pouvoir d'appréciation en confirmant la position de la Présidente, selon laquelle un avocat qui instrumentalise la justice à son profit, fait fi d'une interdiction judiciaire et profère des accusations extrêmement graves devant l'autorité disciplinaire afin de porter préjudice à des confrères, se rendant ainsi coupable de trois infractions distinctes, adopte un comportement incompatible avec la profession d'avocat.
6.3 Contrairement à ce que soutient le recourant, il n'est pas nécessaire que l'avocat remplisse les conditions de l'<ref-law> pour que sa conduite puisse être qualifiée d'incompatible avec la profession d'avocat. Le fait qu'une interdiction d'exercer la profession d'avocat au sens de l'<ref-law> soit prononcée en même temps que la condamnation pénale est évidemment de nature à justifier une radiation en application de l'<ref-law> (BOHNET/MARTENET, op. cit., N 613 p. 273), mais n'est pas indispensable. Si tel était le cas, seuls les crimes ou délits commis par l'avocat dans l'exercice de sa profession justifieraient la non-inscription ou la radiation au registre. Or l'ensemble des actes de l'avocat, même ceux qui relèvent de sa vie privée et n'ont aucun lien avec la profession, peuvent, s'ils revêtent une certaine gravité, justifier une telle mesure (cf. supra consid. 6.1), dès qu'ils sont de nature à compromettre le rapport de confiance entre l'avocat et son client (cf. arrêt 2A.79/2005 du 22 juillet 2005 consid 3.1 et les références citées).
7. Le recourant se plaint d'une violation du principe de la proportionnalité, estimant qu'il fallait tenir compte qu'il s'agissait de sa première condamnation pénale et que, par analogie, l'interdiction temporaire de pratiquer prévue à l'<ref-law> supposait un comportement bien plus grave.
7.1 Dès lors que, comme on vient de le voir, le Tribunal cantonal a conclu, sur la base d'une appréciation proportionnée des circonstances, que le recourant ne remplissait plus la condition personnelle prévue à l'<ref-law>, la radiation du registre s'impose en vertu de l'<ref-law>, sans qu'il n'y ait plus de place à ce stade pour la proportionnalité (cf. supra consid. 6.1 in fine). Le fait que le recourant n'ait encore jamais été condamné auparavant n'y change rien, l'<ref-law> ne faisant aucune distinction qu'il s'agisse d'une première condamnation ou de récidive. En revanche, l'avocat qui n'a encore jamais été condamné peut en principe espérer le prononcé d'une peine avec sursis qui figurera moins longtemps sur l'extrait privé du casier judiciaire (cf. <ref-law>) et pourra donc solliciter sa réinscription au registre plus rapidement.
7.2 L'analogie que fait le recourant avec un manquement qui justifierait le prononcé d'une interdiction temporaire de pratiquer au sens de l'art. 17 al. 1 let. d LLCA n'est pas pertinente. En effet, il faut distinguer la mesure administrative que représente la radiation du registre prévue à l'<ref-law>, de l'interdiction de pratiquer, mesure disciplinaire au sens de l'<ref-law>. Les deux procédures sont indépendantes. La radiation d'un avocat du registre n'empêche ainsi ni l'ouverture ni la poursuite d'une procédure disciplinaire (ALAIN BAUER/PHILIPPE BAUER, ad <ref-law>, in: Commentaire romand, op. cit., p. 226 N 20; cf. arrêt 2P.194/2004 du 23 mars 2005 consid. 3.5). Un avocat interdit de pratiquer au sens de l'art. 17 al. 1 let. d LLCA n'est pas rayé du registre s'il remplit toujours les conditions des art. 7 et 8 LLCA (STAEHELIN/OETIKER, ad <ref-law>, in: op. cit., p. 102 N 8), mais l'interdiction sera inscrite au registre (cf. <ref-law>; BOHNET/MARTENET, op. cit., p. 913 N 2239). A l'inverse, la radiation peut aussi être justifiée sous l'angle de l'<ref-law>, alors qu'aucune sanction disciplinaire ne s'impose (cf. BOHNET/MARTENET, op. cit., p. 309 N 699). Tel est par exemple le cas si la condamnation pénale de l'avocat porte sur des faits qui certes se révèlent incompatibles avec la profession d'avocat, mais qui n'ont rien à voir avec son activité professionnelle (par exemple, des abus sexuels commis dans un cadre privé) ou de l'avocat faisant l'objet d'un acte de défaut de biens (cf. art. 8 al. 1 let. c LLCA). Il importe donc peu de savoir si les faits pour lesquels le recourant a été condamné auraient justifié le prononcé d'une sanction disciplinaire consistant en une interdiction temporaire de pratiquer.
8. Dans un dernier moyen, le recourant, invoquant les art. 32 Cst. et 6 CEDH, se plaint d'une violation de la présomption d'innocence. Selon celui-ci, l'atteinte aurait été commise par la voie de la presse et aurait influencé, même inconsciemment, les autorités judiciaires. Dès lors que le recourant n'explique pas en quoi l'arrêt attaqué violerait sa présomption d'innocence, mais critique des articles parus dans la presse locale, son grief s'écarte de l'objet du litige et est partant irrecevable.
9. Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais seront mis à la charge du recourant, qui succombe (cf. <ref-law>). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Présidente de l'Autorité de surveillance des avocats, au Tribunal cantonal du canton du Valais, Cour de droit public, et au Département fédéral de justice et police.
Lausanne, le 28 juillet 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Chatton