Faits:
A. Les avocats A._, X._ et B._ sont associés.
Les époux Y._ et Dame Y._, qui vivent séparés depuis fin mars 2007, sont en instance de divorce, la cause étant pendante devant le Tribunal des districts de Martigny et St-Maurice. C'est l'avocat A._ qui représente Dame Y._ mais, une fois au moins, l'avocat X._ a remplacé son associé et accompagné Dame Y._ au tribunal.
B. Dans le cadre de son litige matrimonial, Y._ a chargé, à deux reprises en 2008, un détective privé d'effectuer une surveillance de sa femme. Le 7 septembre 2009, sur le conseil de ce détective, il s'est adressé à C._ qui exploite une agence de détectives privés, sous la raison individuelle D._. Il lui a alors demandé de rechercher notamment si Dame Y._ vivait en concubinage, si elle avait une activité, comment elle vivait (relations), si elle faisait partie d'une secte et quel était son train de vie. Le 21 septembre 2009, C._ a adressé à Y._ son rapport ainsi qu'une facture de 21'283,28 fr. Le 2 octobre 2009, Y._ a contesté la facture.
Le 9 janvier 2010, C._ a signé un document par lequel il déclarait "passer procuration avec pouvoir de substitution et pouvoir d'agir individuellement à Me A._, Me X._ & Me B._ avocats à E._ conjointement entre eux" dans le cadre de l'"Affaire c/ Y._". Le 27 janvier 2010, C._, représenté par l'avocat X._, a ouvert action en paiement contre Y._ à concurrence d'un montant total de 24'283,30 fr. Par mémoire-réponse du 26 avril 2010, Y._ a reconnu devoir payer un montant de 1'000 fr. à C._ et conclu au rejet de la demande pour le surplus. Il a notamment soutenu qu'il y avait lieu de réduire les honoraires de C._, qui aurait "crassement violé son obligation de discrétion, essentielle dans le mandat de détective" et aurait fait pression sur lui en recourant aux services de l'avocat X._, associé de l'avocat A._ qui défendait les intérêts de Dame Y._.
C. Le 6 mai 2010, Y._ a invité le Juge suppléant des districts de Martigny et St-Maurice (ci-après: le Juge suppléant) à contrôler la capacité de postuler de l'avocat X._, dans le litige l'opposant à C._.
Par décision du 3 septembre 2010, le Juge suppléant a déclaré que l'avocat X._ n'avait pas la qualité de postuler en faveur de C._ dans la contestation civile qui opposait celui-ci à Y._.
D. Par jugement du 13 octobre 2010, l'Autorité de cassation civile du Tribunal cantonal valaisan (ci-après: le Tribunal cantonal), statuant par juge unique, a rejeté le pourvoi en nullité formé par X._ contre la décision du Juge suppléant du 3 septembre 2010.
E. Le 15 novembre 2010, X._ a déposé au Tribunal fédéral un recours en matière de droit public contre le jugement du Tribunal cantonal du 13 octobre 2010. Il conclut, sous suite de frais et dépens, à la réforme du jugement attaqué. Ainsi, il demande, d'une part, qu'il soit constaté que le mandat que lui a confié C._ ne contrevient pas à l'art. 12 let. c de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (loi sur les avocats, LLCA; RS 935.61); il requiert, d'autre part, que sa capacité de postuler en faveur de C._ dans la contestation civile qui oppose celui-ci à Y._ soit reconnue. Il sollicite la production de différents dossiers.
Le Tribunal cantonal se réfère au jugement attaqué et le Juge suppléant à sa décision du 3 septembre 2010.
Y._ ne s'est pas déterminé sur le fond du recours dans le délai imparti à cet effet.
F. Par ordonnance du 6 décembre 2010, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43 et la jurisprudence citée).
1.1 Le présent litige concerne l'interdiction faite à l'avocat recourant de représenter un client en raison d'un conflit d'intérêts prohibé par l'art. 12 let. c LLCA. Il relève donc du droit public au sens de l'<ref-law> et ne tombe pas sous le coup d'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte (cf. <ref-ruling> consid. 7 p. 153; arrêt 2D_148/2008 du 17 avril 2009 consid. 1.2).
Le fait que, dans la présente cause, le jugement attaqué ait été rendu dans le cadre d'une procédure judiciaire civile par l'autorité de recours prévue par le code cantonal (valaisan) de procédure civile alors applicable, sans que l'autorité cantonale de surveillance des avocats ait été saisie, n'a pas pour résultat de conférer un caractère civil au litige. En effet, la loi sur les avocats ne désigne pas l'autorité compétente habilitée à empêcher de plaider l'avocat confronté à un conflit d'intérêts, lorsqu'une procédure est en cours (cf. arrêts 2C_688/2009 du 25 mars 2010 consid. 1, in SJ 2010 I p. 433, et 2D_148/2008 du 17 avril 2009 consid. 1.2). Selon les cantons, la décision initiale à ce sujet peut émaner soit de l'autorité disciplinaire compétente (cf., par exemple, <ref-ruling>), soit, comme ici, de l'autorité judiciaire saisie du fond (cf. arrêts 2C_688/2009 du 25 mars 2010 consid. 1.1, in SJ 2010 I p. 433, et 2D_148/2008 du 17 avril 2009 consid. 1.2). Or, rien ne justifie de prévoir une voie de recours qui diffère en fonction de la procédure mise en place par les cantons, alors que l'objet du litige, soit l'interdiction pour un avocat de représenter une partie en raison d'un conflit d'intérêts, est identique (cf. arrêt 2C_688/2009 du 25 mars 2010 consid. 1.1, in SJ 2010 I p. 433). Du reste, sous l'OJ, la décision rendue par une autorité judiciaire interdisant à un avocat de plaider dans le cadre d'une procédure en cours devait, indépendamment de la nature de cette procédure, faire l'objet d'un recours de droit administratif au Tribunal fédéral (cf. arrêt 2D_148/2008 du 17 avril 2009 consid. 1.2 et la jurisprudence citée).
1.2 Par ailleurs, la décision, rendue en dernière instance cantonale, qui interdit à un avocat de plaider dans une procédure en cours, est finale pour celui-ci (cf. <ref-ruling> consid. 7 p. 152 s.), car elle met un terme définitif à son mandat (arrêt 2C_755/2010 du 10 décembre 2010 consid. 1.1).
1.3 Au surplus, le présent recours est dirigé contre une décision rendue par un tribunal cantonal supérieur (art. 86 al. 1 let. d et al. 2 LTF) et a été déposé en temps utile (<ref-law>) ainsi que dans les formes prescrites (<ref-law>) par le destinataire du jugement attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il est donc recevable.
2. Le recourant a requis la production par le Tribunal cantonal du dossier C3 10 78 et par le Tribunal des districts de Martigny et St-Maurice des dossiers C1 09 51, C1 10 23 et C2 10 146.
Conformément à l'<ref-law>, le Tribunal cantonal a annexé à ses déterminations le dossier de la cause, comportant son propre dossier (C3 10 78) ainsi que deux dossiers du Tribunal des districts de Martigny et St-Maurice (C1 10 23 et C2 10 146). Le Tribunal fédéral, qui statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), s'estime suffisamment renseigné pour statuer en l'état du dossier. Dès lors, il y a lieu de rejeter la demande du recourant portant sur la production d'un troisième dossier (C1 09 51) du Tribunal des districts de Martigny et St-Maurice.
3. Le recourant se plaint d'une violation de l'art. 12 let. c LLCA. Il fait valoir que le Tribunal cantonal aurait retenu uniquement un risque abstrait de conflit d'intérêts, d'autant qu'il aurait omis d'examiner la procédure de divorce pendante entre les époux Y._. Le Tribunal cantonal ayant évoqué la possibilité pour Dame Y._, cliente d'un associé du recourant, d'utiliser les informations recueillies par C._ pour contester, par exemple, d'éventuelles allégations de concubinage émanant de son mari, le recourant reproche à cette autorité d'avoir fondé le jugement attaqué sur un renversement du fardeau de la preuve contraire à l'<ref-law>. En outre, comme le jugement entrepris ajoute qu'il n'est pas exclu que Dame Y._ ait objectivement intérêt à ce que la demande en paiement de C._ soit rejetée vu les montants réclamés à son mari dans cette procédure, le recourant se plaint que le Tribunal cantonal n'ait pas expliqué concrètement en quoi l'admission de l'action du détective pourrait être de nature à porter préjudice aux conclusions prises par l'épouse.
3.1 Parmi les règles professionnelles que doit respecter l'avocat, l'art. 12 let. c LLCA prévoit que celui-ci doit éviter tout conflit entre les intérêts de son client et ceux des personnes avec lesquelles il est en relation sur le plan professionnel ou privé. L'interdiction de plaider en cas de conflit d'intérêts est une règle cardinale de la profession d'avocat (arrêt 2C_688/2009 du 25 mars 2010 consid. 3.1, in SJ 2010 I p. 433). Elle est en lien avec la clause générale de l'<ref-law>, selon laquelle l'avocat exerce sa profession avec soin et diligence, de même qu'avec l'obligation d'indépendance figurant à l'<ref-law> (<ref-ruling> consid. 3 p. 110). Le Tribunal fédéral a souvent rappelé que l'avocat a notamment le devoir d'éviter la double représentation, c'est-à-dire le cas où il serait amené à défendre les intérêts opposés de deux parties à la fois (<ref-ruling> consid. 9.1 p. 154; <ref-ruling> consid. 3 p. 110 et les références), car il n'est alors plus en mesure de respecter pleinement son obligation de fidélité et son devoir de diligence envers chacun de ses clients (arrêt 2C_688/2009 du 25 mars 2010 consid. 3.1, in SJ 2010 I p. 433). Il y a violation de l'art. 12 let. c LLCA lorsqu'il existe un lien entre deux procédures et que l'avocat représente dans celles-ci des clients dont les intérêts ne sont pas identiques. Il importe peu en principe que la première des procédures soit déjà terminée ou encore pendante, dès lors que le devoir de fidélité de l'avocat n'est pas limité dans le temps (<ref-ruling> consid. 3 p. 110 et les références). Il y a conflit d'intérêts au sens de l'art. 12 let. c LLCA dès que survient la possibilité d'utiliser, consciemment ou non, dans un nouveau mandat les connaissances acquises antérieurement sous couvert du secret professionnel, dans l'exercice d'un premier mandat. Il faut éviter toute situation potentiellement susceptible d'entraîner un tel conflit d'intérêts (arrêt 2P.297/2005 du 19 avril 2006 consid. 4.1). Un risque purement abstrait ne suffit pas. Le risque de conflit d'intérêts doit être concret (arrêt 2C_688/2009 du 25 mars 2010 consid. 3.1, in SJ 2010 I p. 433). En outre, l'incapacité de représentation affectant un avocat rejaillit sur ses associés (<ref-ruling> consid. 9.1 p. 154 et la jurisprudence citée). Ainsi, le problème de la double représentation peut survenir quand les parties sont représentées par des avocats distincts, mais pratiquant dans la même étude, en qualité d'associés (cf. MICHEL VALTICOS, in Commentaire romand, Loi sur les avocats, 2010, n° 156 ad <ref-law>).
3.2 La présente procédure porte sur la question de savoir si l'avocat X._ se trouve dans une situation de conflit d'intérêts en assumant la défense du détective chargé par Y._ de surveiller son épouse, alors que celle-ci est représentée dans sa procédure de divorce par un des associés de cet avocat, A._. Cette question revient à examiner si les intérêts de l'épouse et du détective sont contradictoires, de sorte que la défense de l'un(e) risque de porter atteinte à la position de l'autre.
Le litige opposant Y._ à C._ a pour objet le montant réclamé par ce dernier pour la surveillance de l'épouse. Pour défendre le détective, l'avocat recourant doit démontrer le bien-fondé des prestations fournies et peut donc être amené à révéler à Y._ des faits concernant son épouse qui risquent de nuire à celle-ci dans le cadre de la procédure de divorce. Parallèlement et comme retenu par le Juge suppléant (cf. jugement attaqué, let. C 3ème par. p. 3 s.), en acceptant la défense du détective, l'avocat X._ a révélé à son associé A._ non seulement la surveillance dont sa cliente avait fait l'objet, mais encore "dans une certaine mesure en tout cas" le contenu et le résultat de cette mission et il a exposé le détective au reproche, qui lui a du reste été formulé, de violation de son obligation de discrétion. En outre, comme retenu par le Tribunal cantonal, les montants réclamés par le détective sont susceptibles de réduire la capacité financière de Y._ et, partant, de diminuer potentiellement les prétentions de l'épouse.
3.3 Lorsque le recourant soutient qu'il n'y a pas de risque de conflit d'intérêts concret, dès lors qu'aucun élément ressortant de l'enquête du détective n'a été révélé dans la procédure de divorce, il perd de vue que l'exigence du caractère concret du conflit d'intérêts implique l'examen du risque dans le cas d'espèce, par opposition à un raisonnement dans l'abstrait reposant sur des critères purement théoriques (cf. <ref-ruling> consid. 9.1 p. 154). En revanche, en présence, comme ici, d'éléments concrets qui révèlent un risque de conflit d'intérêts, il importe peu que ce risque se soit finalement matérialisé ou non. Comme le souligne expressément la jurisprudence, le fait qu'il y ait potentiellement un risque de conflit d'intérêts en raison des circonstances de l'espèce suffit (arrêts 2C_688/2009 du 25 mars 2010 consid. 3.1, in SJ 2010 I p. 433, ainsi que 2C_427/2009 du 25 mars 2010 consid. 2.2 et 3.2; cf. aussi <ref-ruling> consid. 4 p. 111 ss).
De même, il n'est pas nécessaire de déterminer précisément quelle est l'incidence concrète du montant réclamé par le détective sur les conclusions de l'épouse, pour retenir l'existence de prétentions contradictoires. Au demeurant, dans le cadre de l'action en paiement, l'époux a lui-même indiqué qu'il n'aurait jamais conclu un contrat aussi onéreux avec le détective, car il était "en proie à des troubles financiers importants liés à sa procédure matrimoniale" (mémoire-réponse du 26 avril 2010 p. 11, cf. jugement attaqué let. B 3ème par. p. 3).
En outre, on ne voit pas qu'au stade de la détermination d'une situation de conflit d'intérêts, l'<ref-law> puisse entrer en considération. En effet, il est décisif d'établir si les connaissances acquises dans le cadre d'un mandat peuvent s'avérer préjudiciables à l'exercice d'un autre mandat. Peu importe de savoir, sur le plan procédural, quelle partie peut devoir apporter la preuve des faits pertinents. Du reste, la question de l'<ref-law> n'intervient pas dans la recherche d'une solution transactionnelle que l'avocat peut aussi tenter de trouver pour son client.
3.4 Ainsi, en confirmant qu'il existait en l'espèce un conflit d'intérêts concret prohibé par l'art. 12 let. c LLCA et qu'il fallait dénier au recourant la capacité de postuler en faveur de C._ dans la contestation civile l'opposant à Y._, le Tribunal cantonal n'a pas violé le droit fédéral.
4. Au vu de ce qui précède, il convient de rejeter le recours.
Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au mandataire de Y._, au Juge suppléant des districts de Martigny et St-Maurice, à l'Autorité de cassation civile du Tribunal cantonal du canton du Valais et à la Chambre de surveillance des avocats valaisans.
Lausanne, le 22 février 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz