Sachverhalt: A. B._ wurde am 4. Dezember 2000 für den Militärdienst als untauglich erklärt. Er leistete bis zu diesem Zeitpunkt insgesamt 104 Tage anrechenbaren Militärdienst. Er wurde für den Wehrpflichtersatz des Jahres 2005 - entsprechend der Veranlagung für die direkte Bundessteuer - mit einem taxpflichtigen Einkommen von Fr. 8'500.-- eingeschätzt. Unter Anrechnung der geleisteten Diensttage belief sich die Wehrpflichtersatzabgabe auf Fr. 204.--. Mit Einsprache machte B._ geltend, die nur für Männer vorgesehene Ersatzabgabe sei diskriminierend und verstosse gegen die Europäische Konvention zum Schutze der Menschenrechte und Grundfreiheiten vom 4. November 1950 (EMRK; SR 0.101). Die Wehrpflichtersatzverwaltung des Kantons Aargau wies die Einsprache mit Entscheid vom 28. Februar 2008 ab. B. Eine Beschwerde von B._ wies das Steuerrekursgericht des Kantons Aargau mit Urteil vom 26. Februar 2009 ab. Es erwog, das Diskriminierungsverbot gemäss Art. 14 EMRK (in Verbindung mit Art. 4 Abs. 3 lit. b EMRK) stehe der Erhebung einer auf Männer beschränkten Wehrpflichtersatzabgabe nicht entgegen. Ein solches Verbot lasse sich auch nicht aus den beiden für die Schweiz am 18. September 1992 in Kraft getretenen beiden Internationalen Pakten über wirtschaftliche, soziale und kulturelle Rechte (UNO-Pakt I; SR 0.103.1) und über bürgerliche und politische Rechte (UNO-Pakt II; SR 0.103.2) ableiten. C. Hiergegen führt B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt sinngemäss, es sei der Entscheid des Steuerrekursgerichts vom 26. Februar 2009 aufzuheben und es sei festzustellen, dass der Wehrpflichtersatz nicht geschuldet sei, solange Frauen keine Ersatzabgabe zahlen. Auf seine Begründung ist in den Entscheiderwägungen einzugehen. Die Wehrpflichtersatzverwaltung des Kantons Aargau und die Eidgenössische Steuerveraltung beantragen, die Beschwerde sei abzuweisen. Das Steuerrekursgericht des Kantons Aargau verzichtete auf eine Vernehmlassung. Mit Eingabe vom 28. Mai 2009 nahm der Beschwerdeführer zur Vernehmlassung der Eidgenössischen Steuerverwaltung Stellung.