Faits: A. Né en 1983, X._ a touché, dès avril 2003, des indemnités journalières de l'assurance-invalidité (AI) en raison de problèmes de dos qui l'ont contraint à cesser son activité professionnelle. Il a été déclaré inapte au service le 11 août 2003. B. Dans le cadre de ses déclarations d'impôt sur le revenu pour les années 2003 et suivantes, X._ a déclaré les indemnités AI précitées. La taxe d'exemption de l'obligation de servir due par X._ pour les années 2003, 2004 et 2005 a été établie par décisions des 14 novembre 2004, 22 mars 2006 et 2 août 2006. L'intéressé n'a pas formé de réclamation contre ces décisions dans le délai utile de 30 jours et a payé les montants fixés. C. Le 24 septembre 2007, X._ a demandé à l'Office cantonal valaisan des affaires militaires (ci-après: l'Office cantonal) de lui rembourser 2'261,20 fr. correspondant au montant des taxes d'exemption de l'obligation de servir des années 2003 à 2005. Il alléguait que, les indemnités journalières AI n'étant pas soumises à taxe, il devait payer la taxe minimale de 200 fr. par année. Par trois décisions du 25 septembre 2007, l'Office cantonal a déclaré la demande irrecevable, parce que le délai de réclamation était largement passé et que les taxations en cause étaient entrées en force. D. X._ a alors porté sa cause devant la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours), qui a rejeté le recours dans la mesure de sa recevabilité par décision du 23 avril 2008, notifiée le 1er juillet 2008. La Commission de recours a considéré en substance que c'était à juste titre que l'Office cantonal avait refusé d'entrer en matière sur la demande de l'intéressé. En effet, cette requête ne pouvait être considérée comme une réclamation, car elle était manifestement tardive, et il n'existait aucun motif d'empêchement susceptible de fonder la restitution du délai de réclamation. Examinant ensuite la requête comme une demande de révision, la Commission de recours l'a rejetée, car X._ faisait valoir une erreur de droit, ce qui n'était pas pertinent. De plus, l'autorité de taxation compétente n'avait pas violé son obligation de communiquer et l'imposition des indemnités journalières AI résultait d'une erreur commise par l'intéressé lui-même, qui avait empêché que soit générée une annonce automatique concernant l'exonération de ces montants. E. Le 31 juillet 2008, X._, procédant en personne, a formé un recours de droit administratif au Tribunal fédéral contre la décision de la Commission de recours du 23 avril 2008. Le Tribunal fédéral n'a pas ordonné d'échange d'écritures. La Commission de recours et l'Office cantonal ont produit leurs dossiers respectifs dans le délai imparti à cette fin.