Citation: 2C_354/2021 E. A

A.a. A.________ est un avocat inscrit au registre cantonal des avocats du canton du Valais depuis le 29 septembre 2014. En mars 2019, il a fait l'objet d'une sanction disciplinaire (confirmée en dernière instance par arrêt du Tribunal fédéral in arrêt 2C_243/2020 du 25 juin 2020) sous la forme d'une amende de 1'000 fr., pour avoir enfreint les règles relatives à la censure des courriers des détenus, s'être servi ou avoir menacé de servir de moyens juridiques légaux de manière abusive et avoir critiqué une expertise dans des termes inutilement vexatoires. A.b. Le 11 avril 2019, intervenant en tant que conseil d'une cliente interrogée en qualité de prévenue par la police judiciaire du canton du Valais, A.________ s'est emporté de façon véhémente contre les deux inspecteurs en charge de l'audition, traitant ceux-ci de "cow-boys" et leur disant notamment qu'ils ne "touch[aient] pas le puck" en matière judiciaire. Il a également traité l'avocat de la partie adverse, présent dans la salle d'audience, de "guignol" ou de "pantin", le qualifiant en outre de "fils à papa".