Sachverhalt:
A. X._ wurde am 8. Oktober 2004 für den Militärdienst als untauglich erklärt. Seine Behinderung wurde dabei als nicht erheblich eingestuft.
B. Mit Verfügung vom 12. Februar 2010 veranlagte das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern X._ pro 2008 mit einer Wehrpflichtersatzabgabe in der Höhe von Fr. 254.45 (inkl. Verzugszins). X._ machte mit Einsprache geltend, die Ersatzabgabe diskriminiere ihn gegenüber Personen mit einer Behinderung von über 40 Prozent, gegenüber Personen, die den Militärdienst nicht mit ihrem Gewissen vereinbaren könnten, sowie gegenüber Frauen und verstosse gegen die Europäische Konvention zum Schutze der Menschenrechte und Grundfreiheiten vom 4. November 1950 (EMRK; SR 0.101). Das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern wies die Einsprache mit Entscheid vom 21. April 2010 ab und trat mit Verfügung gleichen Datums auf ein von X._ sinngemäss gestelltes Revisionsgesuch betreffend Rückzahlung aller bezahlten Ersatzabgaben nicht ein. Die dagegen erhobene Beschwerde wies die Steuerrekurskommission des Kantons Bern mit Entscheid vom 4. April 2012 ab.
C. X._ führt Beschwerde beim Bundesgericht mit den Anträgen, die Verfügung vom 12. Februar 2010 des Amts für Bevölkerungsschutz, Sport und Militär des Kantons Bern sowie das Urteil der Steuerrekurskommission des Kantons Bern vom 4. April 2012 aufzuheben und festzustellen, dass die Erhebung des Militärpflichtersatzes in seinem Fall zu einer ungerechtfertigten Diskriminierung führe und darauf zu verzichten sei. Auf seine Begründung ist in den Entscheiderwägungen einzugehen.
Die Steuerrekurskommission des Kantons Bern und die Eidgenössische Steuerverwaltung, Wehrpflichtersatzabgabe, beantragen die Abweisung der Beschwerde. Das Amt für Bevölkerungsschutz, Sport und Militär des Kantons Bern hat sich nicht fristgerecht geäussert. X._ nimmt mit Eingabe vom 24. August 2012 zur Vernehmlassung der Eidgenössischen Steuerverwaltung Stellung.

Erwägungen:
1. 1.1 Die Beschwerde ist innert der gesetzlichen Frist (vgl. <ref-law>) eingereicht worden und betrifft eine Angelegenheit des öffentlichen Rechts im Sinn von <ref-law>. Der Ausschlussgrund nach <ref-law> ist vorliegend nicht anwendbar, da Streitigkeiten bezüglich Wehrpflichtersatz von dieser Bestimmung nicht erfasst sind (vgl. Art. 31 Abs. 3 des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe [WPEG; SR 661]). Kantonale Rekursbehörde ist die Steuerrekurskommission des Kantons Bern (Art. 2 der Verordnung des Kantons Bern vom 28. Januar 2004 betreffend den Vollzug des Bundesgesetzes über die Wehrpflichtersatzabgabe [BWPEV; BSG 668.61]); deren Entscheid kann gemäss Art. 31 Abs. 3 WEPG beim Bundesgericht angefochten werden. Die Steuerrekurskommission des Kantons Bern ist somit eine letzte kantonale Instanz im Sinn von <ref-law> (vgl. auch Urteil 2C_221/2009 vom 21. Januar 2010 E. 1.2).
Nach dem Gesagten ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich zulässig. Soweit damit die Aufhebung der Verfügung des Amtes für Bevölkerungsschutz, Sport und Militär des Kantons Bern verlangt wird, kann darauf nicht eingetreten werden (Devolutiveffekt; vgl. <ref-law>; <ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich eine Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Hinsichtlich der Verletzung von Grundrechten, insbesondere des Willkürverbots, gilt zudem eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 4.1 S. 235 mit Hinweisen). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinn von <ref-law> (<ref-law>).
2. 2.1 Der Beschwerdeführer macht geltend, die Erhebung der Wehrpflichtersatzabgabe führe in seinem Fall zu einer Diskriminierung gegenüber den Personen, welche einen zivilen Ersatzdienst leisten können, gegenüber Personen mit einer Behinderung von über 40 Prozent sowie gegenüber Personen weiblichen Geschlechts. Er rügt eine Verletzung von <ref-law> sowie von Art. 14 EMRK i.V.m. Art. 8 EMRK.
2.2 <ref-law> stellt den allgemeinen Gleichheitssatz auf. Nach <ref-law> darf niemand diskriminiert werden, namentlich wegen der Herkunft, der Rasse oder des Geschlechts oder wegen einer körperlichen, geistigen oder psychischen Behinderung. Art. 8 Abs. 3 erster Satz BV statuiert die Gleichberechtigung von Mann und Frau. Zudem gilt nach dem zweiten Satz von <ref-law> ein Gleichstellungsgebot.
Die Bundesverfassung sieht eine allgemeine Pflicht zur Leistung von Militärdienst nur für Männer vor (<ref-law>). Für Frauen ist der Militärdienst freiwillig (<ref-law>).
2.3 Art. 14 EMRK enthält - wie <ref-law> - ein Diskriminierungsverbot. Untersagt ist nach dieser Vorschrift die Diskriminierung u.a. wegen des Geschlechts, der Geburt oder eines sonstigen Status. Art. 14 EMRK gilt nicht wie <ref-law> umfassend, sondern setzt die Anwendbarkeit eines anderen durch die Konvention garantierten Grundrechts voraus (vgl. <ref-ruling> E. 3 S. 260; <ref-ruling> E. 4.2 S. 146).
3. Soweit der Beschwerdeführer eine Diskriminierung gegenüber Personen weiblichen Geschlechts geltend macht, erfüllt seine Beschwerde mangels jeglicher Begründung die Anforderungen von <ref-law> nicht (vgl. im Übrigen Urteil 2C_221/2009 vom 21. Januar 2011).
Zu prüfen bleibt dagegen die behauptete Diskriminierung gegenüber Personen, welche einen zivilen Ersatzdienst leisten können, sowie gegenüber Personen mit einer Behinderung von über 40 Prozent.
4. 4.1 Schweizer Bürger, die ihre Wehrpflicht nicht oder nur teilweise durch persönliche Dienstleistung im Militär oder im zivilen Ersatzdienst (Zivildienst) erfüllen, haben einen Ersatz in Geld zu leisten (<ref-law>). Gemäss <ref-law> sind diejenigen Wehrpflichtigen ersatzpflichtig, die im Ersatzjahr, das dem Kalenderjahr entspricht, während mehr als sechs Monaten nicht in einer Formation der Armee eingeteilt sind und nicht der Zivildienstpflicht unterstehen.
Gemäss <ref-law> wird die Ersatzabgabe nach der Gesetzgebung über die direkte Bundessteuer auf dem gesamten Reineinkommen erhoben, das der Ersatzpflichtige im In- und Ausland erzielt. Die Ersatzabgabe beträgt drei Franken je 100 Franken des taxpflichtigen Einkommens, mindestens aber 200 Franken (<ref-law> in der für die Jahre 2006 bis 2009 massgeblichen Fassung vom 4. Oktober 2002 [AS 2003 3707]) bzw. seit dem Jahr 2010 mindestens 400 Franken (<ref-law>). Ist der Ersatzpflichtige im Zivilschutz eingeteilt, so ermässigt sich die Ersatzabgabe für jeden Tag Schutzdienst, den er im Ersatzjahr geleistet hat, um 4 Prozent (Art. 5a der Verordnung vom 30. August 1995 über die Wehrpflichtersatzabgabe [WPEV; SR 661.1]).
4.2 Der Beschwerdeführer wurde aus gesundheitlichen Gründen für militärdienstuntauglich erklärt. Er kann daher weder Militär- noch Zivildienst leisten. Er ist jedoch tauglich, um zivilen Schutzdienst zu leisten und wurde in die Reserve des Zivilschutzes eingeteilt.
4.3 Der EGMR hat im Urteil Glor gegen Schweiz vom 30. April 2009 (13444/04) festgestellt, im Licht des Zwecks und des Effekts der Militärpflichtersatzabgabe erweise sich die von den Schweizer Behörden vorgenommene Unterscheidung insbesondere zwischen abgabebefreiten und abgabepflichtigen militärdienstuntauglichen Personen als diskriminierend und verletze Art. 14 i.V.m. Art. 8 EMRK (a.a.O. § 97 f.). Wesentlich war dabei für den EGMR u.a., dass der damalige Beschwerdeführer stets erklärte, er sei bereit, Militärdienst zu leisten, dazu von den zuständigen Instanzen jedoch als untauglich erklärt wurde (vgl. a.a.O. § 94). Der EGMR erblickte die Diskriminierung insbesondere darin, dass der damalige Beschwerdeführer zwar infolge einer Behinderung als militärdienstuntauglich erklärt, aber - anders als andere, schwerer behinderte Personen - nicht von der Ersatzpflicht befreit wurde, weil seine Behinderung nicht als erheblich eingestuft wurde. Im Weiteren hatte das Gericht Anstoss daran genommen, dass dem Beschwerdeführer, welcher immer bereit gewesen sei, Militärdienst zu leisten, keine Ersatzdienstmöglichkeit offengestanden habe.
4.3.1 Der vorliegende Fall liegt in mehrfacher Hinsicht anders.
Die Vorinstanz hat festgestellt, der Beschwerdeführer hätte gegen den Entscheid, mit dem er als militärdienstuntauglich erklärt und seine Behinderung als nicht erheblich eingestuft wurde, Beschwerde erheben können, was er unterlassen habe. Der Beschwerdeführer bestreitet dies nicht, sondern macht geltend, er sei zum Zeitpunkt der Aushebung sehr jung gewesen und habe kein Wissen darüber gehabt, dass eine solche Beschwerde möglich sei. Zudem sei es ihm zu diesem Zeitpunkt nicht möglich gewesen abzuschätzen, welche Folgen die Untauglichkeit für ihn später einmal haben würde. Diese Unkenntnis vermag jedoch nichts daran zu ändern, dass er nicht - weder unmittelbar nach dem Entscheid der Untersuchungskommission noch zu einem späteren Zeitpunkt - dargetan hat, er wolle Militärdienst leisten.
Im Weiteren liegt ein grundlegender Unterschied darin, dass der Wehrpflichtersatzabgabepflichtige im zitierten EGMR-Urteil (vgl. E. 4.3) sowohl militärdienst- wie auch zivilschutzdienstuntauglich war und ihm mithin jegliche Möglichkeit genommen war, eine Dienstleistung in anderer als militärischer Form zu erfüllen (ziviler Ersatzdienst, Zivilschutzdienst). Demgegenüber wurde der Beschwerdegegner im ihn betreffenden Entscheid der Armee zwar als untauglich im Hinblick auf den Militärdienst erklärt, jedoch als tauglich im Hinblick auf das Leisten von Zivilschutzdienst beurteilt. Wie erwähnt kann gemäss <ref-law> mit der Leistung von Schutzdienst die Ersatzabgabe um 4 Prozent pro Tag ermässigt werden, d.h. bei Leistung von 25 Tagen Schutzdienst entfällt die Ersatzabgabe vollständig. Der Beschwerdeführer bringt vor, er sei wohl zivilschutzpflichtig gewesen, jedoch bloss in die Reserve eingeteilt worden, was ihm verunmöglicht habe, den zu bezahlenden Betrag durch Leistung von Zivilschutztagen zu verringern. Massgebend ist jedoch, dass er nicht dartut, sich darum bemüht zu haben, effektiv Zivilschutz leisten zu können. Sein Vorbringen in der Eingabe vom 24. August 2012, wonach er anlässlich einer nicht zu verhindernden Dienstverschiebung mitgeteilt habe, die Kursinhalte würden ihn interessieren, vermag ein derartiges Bemühen nicht zu belegen. Er legt denn auch trotz dieses Hinweises nicht dar, dass er sich bemüht hätte, den verschobenen Dienst zu absolvieren. Solange der Betroffene nicht wenigstens durch Gesuchseinreichung ein grundsätzliches Interesse an der Erbringung einer derartigen Dienstleistung zu erkennen gibt, durch welche er es in der Hand hätte, die geschuldete Wehrpflichtersatzabgabe massgeblich zu senken, kann die Erhebung der Abgabe nicht als diskriminierend qualifiziert werden.
4.3.2 Hatte nach dem Gesagten der Beschwerdeführer bereits im Grundsatz die Möglichkeit, seine Dienstpflicht real - durch Erbringung des Zivilschutzdienstes - zu erfüllen und so die geschuldete Wehrpflichtersatzabgabe massgeblich zu senken, bestand - solange er von dieser Möglichkeit keinen Gebrauch machte - im Unterschied zu dem im EGMR-Urteil Glor beurteilten Sachverhalt auch keine Veranlassung, ihn von der Abgabepflicht auszunehmen. Der Beschwerdeführer zeigt im Übrigen nicht auf, inwieweit sich daraus die von ihm behauptete Diskriminierung gegenüber Personen ergibt, welche aus Gewissensgründen einen längeren Zivildienst leisten, oder gegenüber Personen mit einer Behinderung von über 40 Prozent.
5. Dies führt zur Abweisung der Beschwerde. Bei diesem Ausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 65 und 66 BGG). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'200.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, der Steuerrekurskommission des Kantons Bern und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 23. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner