Faits:
Faits:
A. A._, né le 30 janvier 1967, est double-national suisse et français. Il a déposé ses papiers de légitimation à La Chaux-de-Fonds le 15 mars 1998. Un livret de service a été établi à son nom et il a été informé qu'il était astreint au paiement de la taxe d'exemption de l'obligation de servir (ci-après: la taxe d'exemption). Le 20 février 2003, le Service de la sécurité civile et militaire du canton de Neuchâtel (ci-après: le Service cantonal) lui a notifié les taxes d'exemption pour les années 1998 à 2001. Le 30 juillet 2003 puis le 16 juin 2004, les taxes d'exemption pour les années 2002 et 2003 lui ont été notifiées.
Le 11 mai 2004, le Service cantonal a rappelé à l'intéressé que le chef de la Section militaire de La Chaux-de-Fonds avait tenté sans succès d'obtenir les documents français nécessaires à son exonération de la taxe d'exemption. Il l'a également rendu attentif au fait que la réclamation verbale qu'il avait soulevée n'était pas valable.
Par courrier du 24 juin 2005 au Service cantonal, A._ a indiqué qu'il avait accompli son service militaire en France et qu'il n'était pas soumis à la taxe d'exemption.
Le 25 août 2005, le Service cantonal a rejeté la réclamation de A._ contre la fixation des taxes des années d'assujettissement 1998 à 2003. Il a relevé que, pour être exonéré de la taxe d'exemption, l'intéressé devait être au bénéfice de la Convention conclue le 16 novembre 1995 entre le Conseil fédéral suisse et le Gouvernement de la République française relative au service militaire des double-nationaux (ci-après: la Convention; RS 0.141.134.92) et être "affecté aux double-nationaux non incorporés". Or celui-ci n'avait pas produit de décision de l'Etat major de conduite de l'armée en ce sens.
Le 25 août 2005, le Service cantonal a rejeté la réclamation de A._ contre la fixation des taxes des années d'assujettissement 1998 à 2003. Il a relevé que, pour être exonéré de la taxe d'exemption, l'intéressé devait être au bénéfice de la Convention conclue le 16 novembre 1995 entre le Conseil fédéral suisse et le Gouvernement de la République française relative au service militaire des double-nationaux (ci-après: la Convention; RS 0.141.134.92) et être "affecté aux double-nationaux non incorporés". Or celui-ci n'avait pas produit de décision de l'Etat major de conduite de l'armée en ce sens.
B. Le 20 décembre 2005, sur recours de l'intéressé, le Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif) a annulé la décision sur réclamation du Service cantonal du 25 août 2005. Il a considéré que, faute de réclamation écrite présentée par l'intéressé dans le délai légal de trente jours suivant leur notification, les décisions de taxation litigieuses étaient entrées en force et que c'était donc à tort que le Service cantonal était entré en matière sur la réclamation du 24 juin 2005.
Le 20 janvier 2006, le Service cantonal a notifié une nouvelle décision à A._, déclarant sa réclamation du 24 juin 2005 irrecevable.
Le 7 mars 2006, le Tribunal administratif a rejeté le recours de l'intéressé contre la décision précitée. Il a rappelé qu'il s'était déjà prononcé sur la recevabilité de la réclamation de l'intéressé dans sa décision du 20 décembre 2005, dont il a confirmé les considérants.
Le 7 mars 2006, le Tribunal administratif a rejeté le recours de l'intéressé contre la décision précitée. Il a rappelé qu'il s'était déjà prononcé sur la recevabilité de la réclamation de l'intéressé dans sa décision du 20 décembre 2005, dont il a confirmé les considérants.
C. A._ a porté sa cause devant le Tribunal fédéral. Il conclut implicitement à l'annulation de la décision du Tribunal administratif du 7 mars 2006. Il allègue qu'il a pris contact avec le chef de la Section militaire de La Chaux-de-Fonds au moment du dépôt de ses papiers en Suisse pour être exonéré de la taxe d'exemption et lui a fait parvenir tous les documents nécessaires.
Le Tribunal administratif n'a pas formulé d'observations sur le recours. Le Service cantonal a déclaré maintenir sa prise de position relative à sa décision sur réclamation du 20 janvier 2006.
L'Administration fédérale des contributions, Section taxe d'exemption de l'obligation de servir, a proposé le rejet du recours.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 60).
Le recourant n'a pas indiqué par quelle voie de droit il procède auprès du Tribunal fédéral. Toutefois, cette imprécision ne saurait lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte. Il convient en l'espèce d'examiner si l'acte de recours remplit les conditions de recevabilité du recours de droit administratif.
Déposé en temps utile par une personne ayant manifestement qualité pour recourir contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale et fondée sur le droit public fédéral, le présent recours est en principe recevable comme recours de droit administratif en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 31 al. 3 de la loi fédérale du 12 juin 1959 sur la taxe d'exemption de l'obligation de servir (ci-après: la loi sur la taxe d'exemption; LTEO; RS 661).
Déposé en temps utile par une personne ayant manifestement qualité pour recourir contre une décision prise par une autorité judiciaire statuant en dernière instance cantonale et fondée sur le droit public fédéral, le présent recours est en principe recevable comme recours de droit administratif en vertu des art. 97 ss OJ, ainsi que de la règle particulière de l'art. 31 al. 3 de la loi fédérale du 12 juin 1959 sur la taxe d'exemption de l'obligation de servir (ci-après: la loi sur la taxe d'exemption; LTEO; RS 661).
2. Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus et l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque, comme en l'espèce, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris des règles essentielles de la procédure (art. 105 al. 2 OJ). Ainsi la possibilité d'alléguer des faits nouveaux ou de faire valoir de nouveaux moyens de preuve est-elle très restreinte. Dans ces conditions, la pièce nouvelle annexée par le recourant à son mémoire de recours ne peut pas être prise en considération, conformément à la jurisprudence (cf. <ref-ruling> consid. 1.2 p. 154). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen dans ce domaine (art. 104 lettre c ch. 3 OJ).
2. Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'abus et l'excès du pouvoir d'appréciation (art. 104 lettre a OJ). Le Tribunal fédéral vérifie d'office l'application du droit fédéral, sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque, comme en l'espèce, le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris des règles essentielles de la procédure (art. 105 al. 2 OJ). Ainsi la possibilité d'alléguer des faits nouveaux ou de faire valoir de nouveaux moyens de preuve est-elle très restreinte. Dans ces conditions, la pièce nouvelle annexée par le recourant à son mémoire de recours ne peut pas être prise en considération, conformément à la jurisprudence (cf. <ref-ruling> consid. 1.2 p. 154). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen dans ce domaine (art. 104 lettre c ch. 3 OJ).
3. D'après l'art. 108 al. 2 OJ, le mémoire de recours doit contenir des conclusions et une motivation. Selon la jurisprudence, il ne faut pas poser des exigences trop strictes quant à la formulation des conclusions et des motifs présentés dans un recours de droit administratif. Il suffit qu'on puisse déduire de l'acte de recours sur quels points et pour quelles raisons la décision attaquée est contestée (<ref-ruling> consid. 1.3.1 p. 320). Une motivation même brève est suffisante (<ref-ruling> consid. 3c p. 249). Il n'est pas nécessaire que les conclusions soient formulées explicitement pour qu'elles soient recevables; il suffit qu'elles résultent clairement des motifs allégués (<ref-ruling> consid. 1.3 p. 452).
En l'espèce, le recourant ne formule pas de conclusions précises, ni d'argumentation topique. En réalité, il ne développe aucune motivation en rapport avec l'irrecevabilité de sa réclamation confirmée par l'arrêt attaqué, même s'il indique qu'il est "en total désaccord avec les motifs de la décision". Il est dès lors douteux que le recours satisfasse aux exigences de l'art. 108 al. 2 OJ et soit recevable. Toutefois, si l'on tient compte que le recours a été rédigé par un "laïc" et que la procédure cantonale était essentiellement orale, la question de la recevabilité du recours peut rester ouverte, celui-ci devant de toute façon être rejeté pour les motifs qui suivent.
En l'espèce, le recourant ne formule pas de conclusions précises, ni d'argumentation topique. En réalité, il ne développe aucune motivation en rapport avec l'irrecevabilité de sa réclamation confirmée par l'arrêt attaqué, même s'il indique qu'il est "en total désaccord avec les motifs de la décision". Il est dès lors douteux que le recours satisfasse aux exigences de l'art. 108 al. 2 OJ et soit recevable. Toutefois, si l'on tient compte que le recours a été rédigé par un "laïc" et que la procédure cantonale était essentiellement orale, la question de la recevabilité du recours peut rester ouverte, celui-ci devant de toute façon être rejeté pour les motifs qui suivent.
4. 4.1 Dès sa naturalisation, le recourant était astreint au service militaire ou au service civil de remplacement (art. 59 al. 1 Cst.; art. 2 al. 1 de la loi fédérale du 3 février 1995 sur l'armée et l'administration militaire [LAAM; RS 510.10]). Les obligations militaires comprennent notamment le service militaire ou civil et le paiement, le cas échéant, de la taxe d'exemption (art. 59 al. 3 Cst.; art. 2 al. 2 lettre d LAAM). Celle-ci est aussi exigible des double-nationaux (<ref-law>), sous réserve de conventions contraires (cf. <ref-law>; <ref-ruling> consid. 2 p. 59). Les décisions de taxation peuvent faire l'objet d'une réclamation écrite auprès de l'autorité de taxation dans un délai de trente jours dès leur notification (<ref-law>).
4.2 L'art. 3 par. 1 de la Convention prévoit que les double-nationaux ne sont tenus d'accomplir leurs obligations militaires qu'à l'égard d'un seul des deux Etats. Le double-national qui aura satisfait à ses obligations militaires à l'égard d'un Etat, dans les conditions prévues par la législation de cet Etat, sera considéré comme ayant satisfait aux obligations militaires à l'égard de l'autre Etat (art. 3 par. 3 de la Convention). Celui qui est visé par l'art. 3 justifie de sa situation auprès de l'Etat où il n'est pas appelé à servir, par la production d'un certificat ad hoc, désigné comme «modèle C» (art. 5 de la Convention ); il lui incombe d'agir en ce sens et d'interpeller les autorités compétentes (arrêt 2A.135/2003 du 3 décembre 2003, Archives 73 p. 579, consid. 3 p. 582). Le double-national paie la taxe d'exemption dans l'Etat où il est tenu d'accomplir ses obligations militaires (art. 7 de la Convention).
4.3 Faute d'avoir reçu les documents propres à établir que le recourant était au bénéfice de la Convention et "affecté aux double-nationaux non incorporés", le Service cantonal a considéré que celui-ci était soumis à la taxe d'exemption. Les décisions de taxation pour les années 1998 à 2001, notifiées le 20 février 2003, et celles pour les années 2002 et 2003, notifiées les 30 juillet 2003 et 16 juin 2004, étaient entrées en force lorsque le recourant a déposé sa réclamation écrite du 24 juin 2005. La réclamation du recourant était donc tardive, ce qu'il ne conteste pas. Il n'a par ailleurs pas non plus formulé une demande de restitution de délai indiquant avoir été empêché, sans sa faute, d'agir en temps utile.
Une révision est également exclue car le recourant aurait pu faire valoir ses motifs au cours de la procédure ordinaire s'il avait fait preuve de toute la diligence pouvant raisonnablement être exigée de lui (art. 40 al. 2 de l'ordonnance du 30 août 1995 sur la taxe d'exemption de l'obligation de servir [OTEO; RS 661.1]). Ainsi, vu qu'il a omis de saisir les autorités par une réclamation déposée en temps utile, la révision de ses taxations entrées en force est exclue (cf. arrêt 2A.275/2001 du 10 août 2001, RDAF 2002 II p. 62, consid. 2b p. 64 et arrêt 2A.135/2003 du 3 décembre 2003, Archives p. 579, consid. 3 p. 583).
4.4 C'est ainsi à bon droit que le Tribunal administratif a rejeté le recours de A._ et confirmé la décision du Service cantonal déclarant irrecevable la réclamation du recourant du 24 juin 2005.
4.4 C'est ainsi à bon droit que le Tribunal administratif a rejeté le recours de A._ et confirmé la décision du Service cantonal déclarant irrecevable la réclamation du recourant du 24 juin 2005.
5. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 1'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 1'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au recourant, au Service de la sécurité civile et militaire et au Tribunal administratif du canton de Neuchâtel ainsi qu'à l'Administration fédérale des contributions, Section taxe d'exemption de l'obligation de servir.
Lausanne, le 1er septembre 2006
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: