Faits: A. Les avocats A._, X._ et B._ sont associés. Les époux Y._ et Dame Y._, qui vivent séparés depuis fin mars 2007, sont en instance de divorce, la cause étant pendante devant le Tribunal des districts de Martigny et St-Maurice. C'est l'avocat A._ qui représente Dame Y._ mais, une fois au moins, l'avocat X._ a remplacé son associé et accompagné Dame Y._ au tribunal. B. Dans le cadre de son litige matrimonial, Y._ a chargé, à deux reprises en 2008, un détective privé d'effectuer une surveillance de sa femme. Le 7 septembre 2009, sur le conseil de ce détective, il s'est adressé à C._ qui exploite une agence de détectives privés, sous la raison individuelle D._. Il lui a alors demandé de rechercher notamment si Dame Y._ vivait en concubinage, si elle avait une activité, comment elle vivait (relations), si elle faisait partie d'une secte et quel était son train de vie. Le 21 septembre 2009, C._ a adressé à Y._ son rapport ainsi qu'une facture de 21'283,28 fr. Le 2 octobre 2009, Y._ a contesté la facture. Le 9 janvier 2010, C._ a signé un document par lequel il déclarait "passer procuration avec pouvoir de substitution et pouvoir d'agir individuellement à Me A._, Me X._ & Me B._ avocats à E._ conjointement entre eux" dans le cadre de l'"Affaire c/ Y._". Le 27 janvier 2010, C._, représenté par l'avocat X._, a ouvert action en paiement contre Y._ à concurrence d'un montant total de 24'283,30 fr. Par mémoire-réponse du 26 avril 2010, Y._ a reconnu devoir payer un montant de 1'000 fr. à C._ et conclu au rejet de la demande pour le surplus. Il a notamment soutenu qu'il y avait lieu de réduire les honoraires de C._, qui aurait "crassement violé son obligation de discrétion, essentielle dans le mandat de détective" et aurait fait pression sur lui en recourant aux services de l'avocat X._, associé de l'avocat A._ qui défendait les intérêts de Dame Y._. C. Le 6 mai 2010, Y._ a invité le Juge suppléant des districts de Martigny et St-Maurice (ci-après: le Juge suppléant) à contrôler la capacité de postuler de l'avocat X._, dans le litige l'opposant à C._. Par décision du 3 septembre 2010, le Juge suppléant a déclaré que l'avocat X._ n'avait pas la qualité de postuler en faveur de C._ dans la contestation civile qui opposait celui-ci à Y._. D. Par jugement du 13 octobre 2010, l'Autorité de cassation civile du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal), statuant par juge unique, a rejeté le pourvoi en nullité formé par X._ contre la décision du Juge suppléant du 3 septembre 2010. E. Le 15 novembre 2010, X._ a déposé au Tribunal fédéral un recours en matière de droit public contre le jugement du Tribunal cantonal du 13 octobre 2010. Il conclut, sous suite de frais et dépens, à la réforme du jugement attaqué. Ainsi, il demande, d'une part, qu'il soit constaté que le mandat que lui a confié C._ ne contrevient pas à l'art. 12 let. c de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (loi sur les avocats, LLCA; RS 935.61); il requiert, d'autre part, que sa capacité de postuler en faveur de C._ dans la contestation civile qui oppose celui-ci à Y._ soit reconnue. Il sollicite la production de différents dossiers. Le Tribunal cantonal se réfère au jugement attaqué et le Juge suppléant à sa décision du 3 septembre 2010. Y._ ne s'est pas déterminé sur le fond du recours dans le délai imparti à cet effet. F. Par ordonnance du 6 décembre 2010, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif contenue dans le recours.