Faits:
A. Par requête du 30 mai 2008, le centre médico-social de St-Maurice a requis la Chambre pupillaire de St-Maurice d'examiner l'opportunité d'une mesure tutélaire sur la personne de A._.
Le 19 avril 2010, la Chambre pupillaire a prononcé l'interdiction de l'intéressé.
Celui-ci a recouru contre cette décision auprès du Tribunal des districts de Martigny et St-Maurice. Il concluait à son annulation au motif qu'un des membres de la Chambre pupillaire aurait dû se récuser.
B. Par décision du 24 juin 2010, le Juge II des districts de Martigny et St-Maurice a déclaré le recours irrecevable. Il a estimé qu'il n'était pas compétent à raison de la matière. A titre subsidiaire, il a considéré que, supposé recevable, le recours aurait de toute façon dû être rejeté.
C. Contre cette décision, A._ a, le 2 juillet 2010, déposé un recours au Tribunal fédéral. Dans une écriture complémentaire du 6 juillet 2010, il a conclu à l'annulation de la décision en tant qu'elle déclare son recours irrecevable et au renvoi de la cause à l'autorité compétente pour nouvelle décision. Par différentes écritures envoyées entre le 10 juillet 2010 et le 11 octobre 2010, il a complété son recours et déposé des pièces nouvelles.
Le 8 juillet 2010, il a sollicité le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Le Tribunal de district a renoncé à se déterminer. Quant à la Chambre pupillaire, elle a commenté le recours sans se déterminer toutefois sur le sort qui devait lui être réservé.

Considérant en droit:
1. La décision attaquée est une décision finale, dès lors que l'autorité cantonale de dernière instance constate son incompétence matérielle et met un terme à la procédure (<ref-law>; <ref-ruling> consid. 1.3). Elle a été rendue dans une procédure de tutelle, à savoir dans une affaire civile non pécuniaire (art. 72 al. 2 let. b ch. 6 LTF). Le "recours" déposé le 2 juillet 2010 doit donc être traité comme un recours en matière civile.
La décision attaquée a été notifiée le 26 juin 2010, de sorte que le délai de recours arrive à échéance le 27 août 2010, compte tenu des féries judiciaires (<ref-law> en relation avec l'<ref-law>). Les écritures complémentaires envoyées jusqu'à cette date sont recevables au regard des dispositions précitées. En revanche, les écritures expédiées par le recourant dans le but de compléter son recours postérieurement au 27 août 2010 sont tardives et ne seront donc pas prises en considération. Sont également irrecevables toutes les pièces nouvelles déposées en annexe aux écritures complémentaires (<ref-law>).
2. Le recourant demande son audition par le Tribunal fédéral.
Des mesures probatoires devant le Tribunal fédéral ne sont qu'exceptionnellement ordonnées puisque celui-ci statue et conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>; <ref-ruling> consid. 2). En l'espèce, le recourant n'invoque aucune circonstance exceptionnelle qui justifierait une mesure d'instruction, de sorte qu'il n'y a pas lieu d'entrer en matière sur sa requête. Au demeurant, contrairement à ce qu'il laisse entendre, le droit à des débats publics devant le Tribunal fédéral ne peut non plus se déduire de l'art. 6 § 1 CEDH, cette garantie ne visant pas le contentieux devant une autorité de dernière instance disposant d'un pouvoir d'examen limité (arrêt B 58/02 du 25 octobre 2002 consid. 5; cf. <ref-ruling> consid. 3; <ref-ruling> consid. 3a).
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de l'art. 6 § 1 CEDH car il n'a eu droit à une audience publique ni devant le juge de district ni devant la Chambre pupillaire.
3.1 L'art. 6 § 1 CEDH garantit en principe le droit pour une partie de pouvoir être entendue oralement devant un tribunal au cours d'une séance publique lorsque sont en jeu des «droits et obligations de caractère civil» (<ref-ruling> consid. 2.2; <ref-ruling> consid. 5 et les arrêts cités), ce qui est le cas d'une procédure d'interdiction (<ref-ruling> consid. 6b).
La deuxième phrase de l'art. 6 § 1 CEDH prévoit des exceptions au principe de la publicité (cf. <ref-ruling> consid. 5d p. 35, 306 consid. 2b p. 311). Il suffit en outre que celui-ci soit respecté par l'une des instances saisies, pourvu qu'elle puisse se prononcer sur le bien-fondé de l'affaire avec un pouvoir de cognition complet quant aux faits et au droit (<ref-ruling> consid. 5e p. 36/37 et les nombreuses références citées).
3.2 En l'occurrence, le recourant a été régulièrement cité devant la Chambre pupillaire à plusieurs reprises - ce qu'il ne conteste pas -, mais ne s'est jamais présenté. Son droit à une audience publique a ainsi été respecté puisqu'il a eu la possibilité d'être entendu oralement devant l'autorité de première instance qui disposait d'un plein pouvoir d'examen en fait et en droit.
4. Dans ses écritures complémentaires des 10 juillet et 15 juillet 2010, le recourant se plaint d'arbitraire dans l'application de l'art. 135 al. 2 de l'ancien code de procédure civile valaisan du 24 mars 1998 (RSV 270.1). Il ne conteste pas l'incompétence matérielle du juge de district mais explique que, selon le droit cantonal, le juge, après être arrivé à ce constat, avait l'obligation de transmettre l'affaire à l'autorité compétente.
4.1 Selon l'<ref-law>/VS, l'autorité qui se tient pour incompétente transmet sans délai l'affaire à l'autorité compétente et en avise les intéressés. La transmission n'interrompt pas la litispendance. Cette disposition exprime un principe général du droit qui s'applique à toutes les instances, afin d'éviter que le justiciable ou le recourant qui s'adresse à une fausse autorité ne subisse un préjudice (<ref-ruling> consid. 1c; 118 Ia consid. 3c; <ref-ruling> ss).
En l'espèce, l'autorité précédente a examiné d'office sa compétence en application de l'art. 135 al. 1 let. b et c CPC/VS. Elle a considéré que le recours aurait dû être déposé devant la Chambre de tutelle. Au lieu de transmettre le recours pour examen à cette autorité, elle l'a déclaré irrecevable. Qui plus est, elle a, dans une argumentation subsidiaire, considéré que le recours aurait en tout état de cause dû être rejeté au fond. Ce faisant, elle a appliqué l'<ref-law>/VS de manière arbitraire. Après avoir constaté son incompétence matérielle, le juge devait transmettre le dossier à la Chambre de tutelle. Il ne pouvait se substituer à celle-ci en traitant le recours sur le fond. Il y a donc lieu d'admettre le recours et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
5. Vu l'issue de la procédure, il n'y a pas lieu de percevoir de frais judiciaires (<ref-law>). Le recourant, qui a procédé sans l'assistance d'un avocat, n'a pas droit à des dépens (<ref-law>). Sa requête d'assistance judiciaire est par conséquent sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. La demande d'assistance judiciaire est sans objet.
4. Le présent arrêt est communiqué aux parties et au Tribunal de Martigny et St-Maurice, Juge II des districts de Martigny et St-Maurice.
Lausanne, le 1er mars 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet