Faits: Faits: A. En 1989, X._, domicilié à A._ (VS), a été victime d'un accident à l'école de recrue. Par décision de l'Office fédéral de l'assurance militaire du 8 janvier 1993, il a été mis au bénéfice d'une rente d'invalidité de 650 fr. par mois, calculée sur un degré d'invalidité de 50%, du 1er juillet 1992 jusqu'à la reprise du travail dans une mesure plus importante mais au plus tard jusqu'au 30 juin 1993. Une nouvelle décision du 25 mars 1994 lui a octroyé une rente de 1'543 fr. 75, calculée sur un degré d'invalidité de 50%, du 1er juillet 1993 jusqu'à la reprise du travail dans une mesure plus importante mais au plus tard jusqu'au 31 janvier 1995. Ledit Office a fixé la rente d'invalidité de 50% à 1'979 fr. 15, pour la période du 1er février 1995 jusqu'à la reprise du travail dans une mesure plus importante mais au plus tard jusqu'au 31 décembre 1996, dans une décision du 8 août 1995. X._ touche encore à ce jour une rente de 50%. Ledit Office a fixé la rente d'invalidité de 50% à 1'979 fr. 15, pour la période du 1er février 1995 jusqu'à la reprise du travail dans une mesure plus importante mais au plus tard jusqu'au 31 décembre 1996, dans une décision du 8 août 1995. X._ touche encore à ce jour une rente de 50%. B. Dans une décision de taxation du 31 mai 1998 en matière d'impôt fédéral direct et d'impôts cantonaux et communaux de la période fiscale 1997-1998, la Commission d'impôt de district pour la commune de A._ (ci-après: la Commission d'impôt) a inclus les rentes à raison de 23'312 fr. pour 1995 et de 23'749 fr. pour 1996 dans le revenu imposable de X._. Celui-ci a élevé réclamation à l'encontre de cette décision de taxation, contestant l'imposition des rentes d'invalidité perçues de l'assurance militaire. La Commission d'impôt lui a répondu le 8 janvier 1999, lui indiquant que ces rentes étaient légalement imposables depuis le 1er janvier 1994. X._ s'est alors acquitté du montant dû. Celui-ci a élevé réclamation à l'encontre de cette décision de taxation, contestant l'imposition des rentes d'invalidité perçues de l'assurance militaire. La Commission d'impôt lui a répondu le 8 janvier 1999, lui indiquant que ces rentes étaient légalement imposables depuis le 1er janvier 1994. X._ s'est alors acquitté du montant dû. C. Dans la décision de taxation du 11 février 2000 en matière d'impôt fédéral direct et d'impôts cantonaux et communaux de la période fiscale 1999-2000, la Commission d'impôt a également imposé les rentes d'invalidité à raison de 28'500 fr. pour 1997 et du même montant pour 1998. Le 29 mars 2000, X._ a déposé une réclamation contre cette décision estimant que lesdites rentes ne devaient pas être imposées. Il demandait, dans le même courrier, la révision de la décision de taxation du 31 mai 1998. Le 29 mars 2000, X._ a déposé une réclamation contre cette décision estimant que lesdites rentes ne devaient pas être imposées. Il demandait, dans le même courrier, la révision de la décision de taxation du 31 mai 1998. D. En ce qui concerne l'impôt fédéral direct et les impôts cantonaux et communaux de la période fiscale 2001-2002, la Commission d'impôt a imposé les rentes à raison de 28'668 fr. pour 1999 et 30'686 fr. pour 2000. Cette décision de taxation du 6 septembre 2002 a fait l'objet d'une réclamation de la part de X._. La Commission d'impôt a déclaré maintenir les taxations des trois périodes fiscales concernées dans une décision sur réclamation du 1er juillet 2005. La Commission d'impôt a déclaré maintenir les taxations des trois périodes fiscales concernées dans une décision sur réclamation du 1er juillet 2005. E. La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) a rejeté le recours de X._ par décision du 19 octobre 2005, tout en laissant ouverte la question de la recevabilité du recours relatif à la période fiscale 1997-1998. Elle a estimé que, dans le cas d'espèce, tant en ce qui concerne l'impôt fédéral direct que les impôts cantonaux et communaux des périodes fiscales 1997-1998 à 2001-2002, les rentes touchées par le recourant depuis le 1er janvier 1995 (période de calcul 1995-1996) étaient imposables. E. La Commission cantonale de recours en matière fiscale du canton du Valais (ci-après: la Commission cantonale de recours) a rejeté le recours de X._ par décision du 19 octobre 2005, tout en laissant ouverte la question de la recevabilité du recours relatif à la période fiscale 1997-1998. Elle a estimé que, dans le cas d'espèce, tant en ce qui concerne l'impôt fédéral direct que les impôts cantonaux et communaux des périodes fiscales 1997-1998 à 2001-2002, les rentes touchées par le recourant depuis le 1er janvier 1995 (période de calcul 1995-1996) étaient imposables. F. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du 19 octobre 2005 de la Commission cantonale de recours en tant qu'elle concerne l'impôt fédéral direct des périodes fiscales 1997-1998, 1999-2000 et 2001-2002, de dire que les rentes perçues sont exonérées et que leur taxation pour lesdites périodes est annulée. La Commission cantonale de recours conclut au rejet du recours dans la mesure où il est recevable. Le Service cantonal des contributions du canton du Valais renonce à déposer des observations tout en concluant au rejet du recours. L'Administration fédérale des contributions se prononce dans le même sens.