Sachverhalt:
A. A.a Das Steueramt des Kantons Aargau (nachfolgend: Steueramt) eröffnete am 4. März 2010 gegen X._ ein Nachsteuerverfahren betreffend die Kantons- und Gemeindesteuern 2003-2004 sowie betreffend die direkte Bundessteuer 2003-2004. Nachdem innert angesetzter Frist von X._ keine Stellungnahme eingegangen war, auferlegte das Steueramt ihm mit Strafbefehl vom 8. April 2010 eine Busse von Fr. 22'348.60 wegen vollendeter Steuerhinterziehung der Kantons- und Gemeindesteuern 2003-2004 sowie mit Bussenverfügung vom 8. April 2010 eine Busse von Fr. 9'977.45 wegen vollendeter Steuerhinterziehung der direkten Bundessteuer 2003-2004.
A.b Mit Eingaben vom 14. Juni 2010 und vom 22. Juni 2010 liess X._ gegen die Bussenverfügung und den Strafbefehl Einsprache erheben. Das Steueramt wies X._ am 30. Juni 2010 darauf hin, dass die Einsprachen nicht innert der gesetzlichen Rechtsmittelfrist eingegangen seien, und forderte ihn auf, allfällige Fristwiederherstellungsgründe bekanntzugeben. Am 30. August 2010 teilte X._ dem Steueramt mit, er könne keine erheblichen Gründe geltend machen, welche ihn an der rechtzeitigen Einreichung der Einsprache gehindert hätten. Vielmehr habe seine vormalige Vertreterin die Einsprachefrist aus unerklärlichen Gründen ungenutzt verstreichen lassen. Mit Entscheiden vom 8. September 2010 trat das Steueramt auf die Einsprachen nicht ein mit der Begründung, diese seien verspätet und es seien auch keine Fristwiederherstellungsgründe geltend gemacht worden. Unter dem Titel "Materielles" erklärte das Steueramt die Vorbringen des Beschwerdeführers, wonach die angefochtenen Verfügungen mit einem erheblichen Verfahrensmangel behaftet seien, für unbegründet.
B. B.a Am 8. Oktober 2010 focht X._ die Einspracheentscheide beim Steuerrekursgericht des Kantons Aargau (nachfolgend: Steuerrekursgericht) an.
B.b Am 20. Dezember 2010 teilte das Steueramt X._ mit, es habe zwischenzeitlich beschlossen, zwecks nachträglicher Durchführung einer persönlichen Anhörung den Strafbefehl und die Bussenverfügung vom 8. April 2010 sowie die daraufhin ergangenen Einspracheentscheide vom 8. September 2010 aufzuheben bzw. als gegenstandslos zu erklären. Das Steueramt forderte X._ auf, sich für einen Besprechungstermin zu melden, und stellte ihm die Neubeurteilung der Angelegenheit und Eröffnung einer entsprechenden Verfügung in Aussicht.
B.c Mit Stellungnahme vom 21. Dezember 2010 teilte das Steueramt dem Steuerrekursgericht mit, es habe die Einspracheentscheide vom 8. September 2010 aufgehoben. Gleichzeitig habe es auch den Strafbefehl und die Bussenverfügung vom 8. April 2010 aufgehoben und dem Rechtsvertreter einen Anhörungstermin in Aussicht gestellt. Demgemäss werde beantragt, die Beschwerdeverfahren infolge Gegenstandslosigkeit von der Kontrolle abzuschreiben.
B.d Nachdem X._ mit Schreiben vom 12. Januar 2011 seine Eingaben "zufolge Gegenstandslosigkeit" hatte zurückziehen lassen, teilte ihm der Präsident des Steuerrekursgerichts am 14. Januar 2011 mit, das Steuerrekursgericht neige nach einer vorläufigen Beurteilung zur Auffassung, dass das Steueramt seine eigenen Entscheide nach Ablauf der Einsprachefrist bzw. ab Rechtshängigkeit nicht mehr aufheben könne. Er wurde aufgefordert mitzuteilen, ob er am Rückzugsbegehren festhalte. Am 19. Januar 2011 liess X._ mitteilen, er wünsche die weitere Durchführung der Beschwerdeverfahren.
B.e Mit Entscheiden vom 23. Juni 2011 wies das Steuerrekursgericht die Rechtsmittel gegen die Einspracheentscheide ab. Die dagegen erhobenen Verwaltungsgerichtsbeschwerden wies das Verwaltungsgericht des Kantons Aargau mit Urteilen vom 22. Februar 2012, zugestellt am 27. März 2012, ab.
C. Mit Beschwerde an das Bundesgericht vom 10. Mai 2012 betreffend die Kantons- und Gemeindesteuern beantragt X._, das Urteil des Verwaltungsgericht des Kantons Aargau vom 22. Februar 2012 aufzuheben, ihm das rechtliche Gehör zu gewähren sowie den Strafbefehl vom 8. April 2010 wegen vollendeter Steuerhinterziehung der Kantons- und Gemeindesteuern 2003-2004, den Einspracheentscheid vom 8. September 2010 und das Urteil des Steuerrekursgerichts vom 23. Juni 2011 aufzuheben. Mit Beschwerde an das Bundesgericht vom 10. Mai 2012 betreffend die direkte Bundessteuer beantragt er, das Urteil des Verwaltungsgerichts des Kantons Aargau vom 22. Februar 2012 aufzuheben, ihm das rechtliche Gehör zu gewähren sowie die Bussenverfügung vom 8. April 2010 wegen vollendeter Steuerhinterziehung der direkten Bundessteuer 2003-2004, den Einspracheentscheid vom 8. September 2010 und das Urteil des Steuerrekursgerichts vom 23. Juni 2011 aufzuheben.
Das Steueramt schliesst auf Abweisung der Beschwerden. Das Verwaltungsgericht des Kantons Aargau und die Eidgenössische Steuerverwaltung verzichten auf eine Stellungnahme.

Erwägungen:
1. 1.1 Die vorliegenden Beschwerden richten sich gegen zwei praktisch übereinstimmende Urteile, betreffen dieselben Parteien und werfen identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Bei den angefochtenen Entscheiden vom 22. Februar 2012 handelt es sich um kantonal letztinstanzliche Endentscheide über die Staats- und Gemeindesteuern bzw. die direkte Bundessteuer. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) und § 200 Abs. 1 des Steuergesetzes des Kantons Aargau vom 15. Dezember 1998 (StG; SAR 651.100) bzw. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen. Anfechtungsobjekt sind jedoch ausschliesslich die Urteile des Verwaltungsgerichts des Kantons Aargau. Soweit mit den Rechtsmitteln die Aufhebung der Entscheide der unteren kantonalen Instanzen verlangt wird, kann darauf nicht eingetreten werden (Devolutiveffekt; vgl. <ref-law>; <ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.3 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2.2.1 S. 389). Die Verletzung von kantonalem Gesetzes- und Verordnungsrecht bildet keinen eigenständigen Rügegrund; sie wird nur unter dem Gesichtswinkel der Willkür geprüft (<ref-ruling> E. 2.2.1 S. 318 mit Hinweisen). Das Bundesgericht prüft frei, ob die Auslegung und Anwendung des kantonalen Rechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen. Wo das Bundesrecht den Kantonen einen Spielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (<ref-ruling> E. 2 S. 210).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann diesen bloss berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt worden ist (<ref-law>).
I. Kantonale Steuern
2. 2.1 Die Vorinstanz erwägt im angefochtenen Urteil, der Ausgang des Verfahrens hänge davon ab, ob das Steueramt befugt gewesen sei, im Rekursverfahren auf den Strafbefehl zurückzukommen oder ob das Steuerrekursgericht diesen aus anderen Gründen von Amtes wegen hätte aufheben müssen. Mit der Erhebung eines Rekurses werde das Steuerrekursgericht zuständig, sich mit der Sache zu befassen. Gleichzeitig verliere mit dieser Überwälzung die verfügende Behörde grundsätzlich die Befugnis, sich weiter der Angelegenheit anzunehmen. Indessen sei in der Verwaltungsrechtspflege der Devolutiveffekt eines Rechtsmittels vielfach eingeschränkt, insbesondere indem die Verwaltungsbehörde jedenfalls bis zur Erstattung ihrer Vernehmlassung im Rechtsmittelverfahren den Entscheid in Wiedererwägung ziehen könne. Wenn sich - wie vorliegend - die Beschwerde gegen einen Nichteintretensentscheid betreffend eine Einsprache gegen einen Strafbefehl richte, bilde Gegenstand des Rekursverfahrens einzig die Frage, ob die Eintretensvoraussetzungen in der Tat nicht gegeben waren, nicht etwa die materielle Prüfung der Angelegenheit. In dieser Konstellation falle ausser Betracht, dass das Steueramt den von ihm getroffenen Strafbefehl im Rekursverfahren aus anderen Gründen in Wiedererwägung ziehe oder widerrufe.
2.2 Der Beschwerdeführer macht geltend, das Steueramt sei bis zum Ablauf der Vernehmlassungsfrist befugt gewesen, über das Verfahren zu verfügen und dessen Abschreibung infolge Gegenstandslosigkeit zu beantragen. Gemäss § 37 des Gesetzes des Kantons Aargau vom 4. Dezember 2007 über die Verwaltungsrechtspflege (VRPG; SAR 271.200) könnten Entscheide durch die verfügende Behörde widerrufen werden, wenn das Interesse an der richtigen Rechtsanwendung die Interessen der Rechtssicherheit und des Vertrauensschutzes überwiegen würden. Diesen Weg habe das Steueramt beschreiten wollen.
Das Steueramt habe ihn vor Erlass des Strafbefehls nicht persönlich angehört, weshalb der Strafbefehl nichtig sei. Es treffe nicht zu, dass er stillschweigend auf eine Anhörung verzichtet habe. Weil das Steueramt diese Auffassung geteilt habe, sei es auf die früheren Entscheide zurückgekommen und habe ihm - dem Beschwerdeführer - die persönliche Anhörung angeboten. Auch wenn er die Einsprache nicht ausdrücklich als Revisionsgesuch bezeichnet habe, könne sie als solches beurteilt werden. In seiner Vernehmlassung sei das Steueramt dieser Auffassung gefolgt und habe den Strafbefehl aufgehoben.
3. 3.1 Gemäss § 1 Abs. 1 VRPG gilt dieses Gesetz für das Verfahren vor den Verwaltungs- und den Verwaltungsjustizbehörden; Sonderbestimmungen in anderen Erlassen bleiben vorbehalten (§ 1 Abs. 3 VRPG). Das Steuergesetz des Kantons Aargau vom 15. Dezember 1998 (StG; SAR 651.100) regelt in den §§ 196 und 197 das Rekursverfahren. Gemäss § 251 StG sind diese Bestimmungen auch anwendbar im Verfahren betreffend Verletzung von Verfahrenspflichten und Steuerhinterziehung, soweit die Bestimmungen im entsprechenden Titel nichts anderes vorschreiben. Dies ist in Bezug auf die Frage der Wiedererwägung durch die verfügende Behörde während des Rechtsmittelverfahrens (nachfolgend: Wiedererwägung pendente lite) nicht der Fall.
3.2 Gemäss § 39 Abs. 1 VRPG können Entscheide durch die erstinstanzlich zuständige Behörde im Fall der Anfechtung bis zur Erstattung ihrer Vernehmlassung, nach der Vernehmlassung nur noch mit Zustimmung der Beschwerdeinstanz in Wiedererwägung gezogen werden.
Da das Steuergesetz keine abweichenden Bestimmungen enthält, kann die Wiedererwägung pendente lite im Kanton Aargau auch im Steuerstrafverfahren zur Anwendung gelangen. Demgemäss hat das Steueramt nach Erlass des Einspracheentscheids (vgl. dazu § 195 StG) im Rekursverfahren grundsätzlich die Möglichkeit, diesen bis zur Erstattung der Vernehmlassung in Wiedererwägung zu ziehen. Mit diesem Rechtsinstitut soll der verfügenden Behörde die Möglichkeit gegeben werden, aufgrund der Beschwerde erkannte Fehler zu korrigieren, um damit einen weiteren Verfahrensschritt zu vermeiden (vgl. ANDRÉ MOSER/MICHAEL BEUSCH/LORENZ KNEUBÜHLER, Prozessieren vor dem Bundesverwaltungsgericht, 2008, Rz. 3.44; mit Bezug auf das Steuerrecht vgl. Urteil 2C_653/2012 vom 28. August 2012 E. 4.2.3 und 4.2.4).
3.3 Die Vorinstanz geht von der Überlegung aus, dass Gegenstand des Rechtsmittelverfahrens vor dem Steuerrekursgericht ein Nichteintretensentscheid bildete, der aufgrund einer ungenutzt abgelaufenen Einsprachefrist ergangen war. In dieser Konstellation könne die materielle Streitsache nicht Gegenstand der Wiedererwägung sein, welche pendente lite die Devolutivwirkung des Rechtsmittels durchbrechen könne.
Im Rechtsmittelverfahren betreffend einen Nichteintretensentscheid wegen verspäteter Einreichung des Rechtsmittels ist zu prüfen, ob die Frist tatsächlich abgelaufen ist und das Vorliegen von Fristwiederherstellungsgründen zu Recht verneint worden ist. Dementsprechend kann die verfügende Behörde ihren Nicheintretensentscheid in Wiedererwägung ziehen, wenn sie zum Schluss kommt, die Frist sei eingehalten worden oder habe wiederhergestellt werden können.
Bereits im Einspracheverfahren war unter den Parteien jedoch unbestritten, dass die Einsprache verspätet war und keine Wiederherstellungsgründe vorlagen. Gleichwohl hat das Steueramt den Einspracheentscheid (und darüber hinaus auch die ursprüngliche Verfügung über die Steuerbusse) aufgehoben, ohne aber einen neuen Einspracheentscheid zu treffen, womit materiell kein neuer Entscheid an die Stelle des zuerst erlassenen getreten ist. Die Wiedererwägung hatte auch nicht die Rechtzeitigkeit der Einspracheerhebung zum Gegenstand, was einzig Gegenstand der Beschwerde vor dem Steuerrekursgericht bilden konnte. Unter solchen Umständen kann dem Verwaltungsgericht jedenfalls nicht vorgeworfen werden, es hätte die Voraussetzungen einer Wiedererwägung pendente lite nach § 39 Abs. 1 VRPG in Verletzung des Willkürverbots als nicht gegeben erachtet.
3.4 Der Beschwerdeführer macht geltend, seine (verspätete) Einsprache hätte als Revisionsgesuch im Sinn von § 201 Abs. 1 lit. b StG beurteilt werden sollen; zu diesem Zweck habe das Steueramt den Einspracheentscheid aufgehoben und die Abschreibung des Beschwerdeverfahrens vor dem Steuerrekursgericht beantragt.
Die Vorinstanz verweist in diesem Zusammenhang zutreffend auf § 201 Abs. 2 StG. Nach dieser Bestimmung ist die Revision ausgeschlossen, wenn die antragstellende Person Gründe vorbringt, die sie bei der ihr zumutbaren Sorgfalt schon im ordentlichen Verfahren hätte geltend machen können. Beim Beschwerdeführer war dies zweifellos der Fall, nachdem er die - nun sinngemäss als Revisionsgrund bezeichnete - Rüge, er sei zu Unrecht im Steuerstrafverfahren nicht angehört worden, schon in der (verspäteten) Einsprache angeführt hatte. Bei dieser Sachlage ist es nicht willkürlich, wenn die Vorinstanz die Revision des Strafbefehls in Anwendung von § 201 Abs. 2 StG als ausgeschlossen erachtete. Das angefochtene Urteil ist auch in diesem Punkt nicht zu beanstanden.
3.5 Das Steuerrekursgericht und die Vorinstanz haben die Frage geprüft, ob der Strafbefehl infolge Nichtigkeit von Amtes wegen hätte aufgehoben werden müssen. Die Vorinstanz ist mit zutreffender und einlässlicher Begründung, auf die verwiesen werden kann, zum Schluss gekommen, dass der Strafbefehl vom 8. April 2010 nicht als nichtig zu betrachten ist. Die entsprechende Rüge des Beschwerdeführers erweist sich damit als unbegründet.
3.6 Zusammenfassend ist festzuhalten, dass die Vorinstanz den Einspracheentscheid des Steueramts vom 8. September 2010 zu Recht bestätigt hat. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Damit erlangt der Strafbefehl vom 8. April 2010 formelle Rechtskraft, und die Verfügung des Steueramts vom 20. Dezember 2010 wird gegenstandslos.
II. Direkte Bundessteuer
4. 4.1 Das kantonale Recht regelt Organisationen und Amtsführung der kantonalen Vollzugsbehörde, soweit das Bundesrecht nichts anderes bestimmt (<ref-law>). Dies gilt in gleicher Weise in Bezug auf die kantonalen Rechtsmittelinstanzen, haben doch diese auch beim Vollzug von Bundesrecht ihren eigenen, kantonalen Prozessordnungen zu folgen (<ref-ruling> E. 3a S. 204; vgl. auch <ref-ruling> E. 2 S. 55; vgl. PIERRE TSCHANNEN, in: VwVG, Kommentar zum Bundesgesetz über das Verwaltungsverfahren, 2008, N. 25 zu <ref-law>). Dies gilt allerdings insoweit nicht, als das Bundesrecht Vorgaben enthält, die keine abweichenden kantonalen Regelungen zulassen (vgl. Urteil 2A.248/2003 vom 8. August 2003 E. 3; vgl. auch Urteil 2C_318/2009 vom 10. Dezember 2009 E. 3.2; vgl. DANIELLE YERSIN, in Commentaire romand, Impôt fédéral direct, 2008, no 123 ad Remarques préliminaires).
4.2 Zur Frage, ob die Wiedererwägung pendente lite im kantonalen Verfahren betreffend die direkte Bundessteuer vorgesehen ist, lässt sich den einschlägigen Bestimmungen des Bundessteuerrechts, insbesondere <ref-law>, nichts entnehmen. Die fragliche Regelung liegt somit in der Kompetenz der Kantone.
Nach § 8 der Verordnung des Kantons Aargau vom 7. Dezember 1994 zum Bundesgesetz über die direkte Bundessteuer (SAR 621.111) gelten für das Gerichtsverfahren die Bestimmungen des kantonalen Rechts, soweit das DBG keine Bestimmungen enthält. Für die Frage der Wiedererwägung pendente lite ist somit auf die gleichen Rechtsgrundlagen abzustellen wie im Verfahren betreffend die kantonalen Steuern. Demgemäss ist die Wiedererwägung pendente lite auch im aargauischen Rechtsmittelverfahren betreffend die direkte Bundessteuer grundsätzlich zulässig.
4.3 <ref-law> sieht vor, dass auf verspätete Einsprachen nur eingetreten wird, wenn die steuerpflichtige Person nachweist, dass sie durch Militär- oder Zivildienst, Krankheit, Landesabwesenheit oder andere erhebliche Gründe an der rechtzeitigen Einreichung verhindert war und dass die Einsprache innert 30 Tagen nach Wegfall der Hinderungsgründe eingereicht wurde. Diese Regelung ist abschliessend. Deswegen darf eine kantonale Behörde, die Bundessteuerrecht vollzieht, nicht auf eine Einsprache eintreten, wenn diese verspätet eingereicht wurde und keine Fristwiederherstellungsgründe vorliegen.
Weil unbestritten ist, dass die Frist bei Einreichung der Einsprache abgelaufen war und keine Fristwiederherstellungsgründe vorlagen (vgl. E. 3.3), war der Nichteintretensentscheid vom 8. September 2010 einer Wiedererwägung pendente lite nicht zugänglich. Unter diesen Umständen ist nicht zu beanstanden, dass die Vorinstanz die Befugnis des Steueramts, auf den Einspracheentscheid vom 8. September 2010 zurückzukommen, verneint hat.
4.4 Betreffend die Revision formell rechtskräftiger Entscheide ist auf Art. 147 Abs. 1 und 2 DBG zu verweisen, welche wortgleich mit der kantonalen Regelung (vgl. § 201 StG) übereinstimmen. Das Vorbringen des Beschwerdeführers, seine Einsprache hätte als Revisionsgesuch entgegengenommen werden müssen, erweist sich mit Blick auf das in E. 3.4 Gesagte auch hier als unbehelflich.
4.5 In Bezug auf die geltend gemachte Nichtigkeit der Bussenverfügung vom 8. April 2010 kann auf E. 3.5 verwiesen werden.
4.6 Aus den im Zusammenhang mit den kantonalen Steuern ausgeführten Gründen ergibt sich, dass die Vorinstanz den Einspracheentscheid des Steueramts vom 8. September 2010 auch in Bezug auf die direkte Bundessteuer zu Recht bestätigt hat. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Die Bussenverfügung vom 8. April 2010 erlangt formelle Rechtskraft, und die Verfügung des Steueramts vom 20. Dezember 2010 wird gegenstandslos.
III. Kosten
5. Die Kosten des bundesgerichtlichen Verfahrens sind dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Ausgangsgemäss ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_426/2012 und 2C_427/2012 werden vereinigt.
2. Die Beschwerden werden abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 18. Januar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner