Sachverhalt: A. Mit Verfügung vom 28. August 2014 wurde die Wehrpflichtersatz von A._ für das Jahr 2010 auf Fr. 320.-- festgelegt. B. Gegen diese Verfügung erhob A._ mit Schreiben vom 26. September 2014 Einsprache und beantragte, es sei keine Wehrpflichtersatzabgabe zu erheben. Die Wehrpflichtersatzverwaltung des Kantons Aargau lehnte dies am 2. Oktober 2014 ab. Die hiergegen beim Spezialverwaltungsgericht Steuern des Kantons Aargau geführte Beschwerde blieb erfolglos (Urteil vom 21. Mai 2015). C. Mit Eingabe vom 6. Juli 2015 beantragt A._ dem Bundesgericht sinngemäss, das Urteil des Spezialverwaltungsgericht sei aufzuheben. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung. Das Gesuch wurde mit Verfügung vom 8. September 2015 wegen fehlender Bedürftigkeit abgewiesen. Die Wehrpflichtersatzverwaltung und das Spezialverwaltungsgericht Steuern des Kantons Aargau und auch die Eidgenössische Steuerverwaltung verzichten auf Vernehmlassung. Der Beschwerdeführer hält mit weiteren Eingaben sinngemäss an seinem Begehren fest.