Erwägungen:
1. X._ ersuchte die Gemeinde Aarburg um Erlass der Kantons- und Gemeindesteuern 2008. Diese forderte ihn am 29. November 2012 im Sinne einer letzten Mahnung zum wiederholten Male auf, verschiedene für die Beurteilung des Erlassgesuchs benötigte Unterlagen und Angaben bis spätestens 7. Januar 2013 einzureichen, unter Hinweis darauf, dass bei Nichteinreichen der Unterlagen auf das Erlassgesuch nicht eingetreten werden könne. Mit Beschluss vom 28. Januar 2013 trat der Gemeinderat Aarburg auf das Gesuch um Erlass der Steuern 2008 nicht ein. Das Spezialverwaltungsgericht des Kantons Aargau wies den gegen diesen Gemeinderats-Beschluss erhobenen Rekurs mit Einzelrichter-Urteil vom 2. Mai 2013 ab.
Am 24. Mai 2013 ist X._ mit Beschwerde gegen das Urteil des Spezialverwaltungsgerichts an das Bundesgericht gelangt. Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. Angefochten ist ein Urteil, womit ein Nichteintretensentscheid geschützt wird, der den Erlass von Abgaben betrifft. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen derartige Entscheide ist unzulässig (Art. 83 lit. m BGG); das Rechtsmittel kann höchstens als subsidiäre Verfassungsbeschwerde entgegengenommen werden (Art. 113 BGG). Mit der Verfassungsbeschwerde kann bloss die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG); entsprechende Rügen bedürfen spezifischer Geltendmachung und Begründung (Art. 106 Abs. 2 BGG). Der Beschwerdeführer spricht als verfassungsmässiges Recht das Willkürverbot gemäss Art. 9 BV an; inwiefern dieses verletzt sein soll, lässt sich der entsprechenden Textstelle in der Beschwerdeschrift ("Eine Verweigerung ist hier nicht belegt und somit als willkürlich anzusehen") nicht entnehmen. Ohnehin bezieht sich der Willkür-Vorwurf offenbar auf die Verweigerung des Steuererlasses selber; da das aargauische Recht keinen Rechtsanspruch auf Erlass der Kantons- und Gemeindesteuern einräumt (vgl. Urteil 2D_46/2010 vom 14. September 2010 E. 2.2 mit Hinweisen), fehlte dem Beschwerdeführer aber die Legitimation zur Willkürrüge (Art. 115 lit. b BGG; vgl. BGE 133 I 185 E. 6 S. 197 ff.). Der beschwerdeführerische Hinweis, "eine gewisse Befangenheit ist nicht auszuschliessen", lässt sich nicht als taugliche Rüge der Verletzung eines verfassungsmässigen Rechts (etwa von Art. 30 Abs. 1 BV) verstehen.
Die Beschwerde enthält offensichtlich keine hinreichende Begründung (Art. 108 Abs. 1 lit. b BGG), sodass darauf mit Entscheid des Einzelrichters im vereinfachten Verfahren nach Art. 108 BGG nicht einzutreten ist.
Die Gerichtskosten (Art. 65 BGG) sind entsprechend dem Verfahrensausgang dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 200.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Spezialverwaltungsgericht des Kantons Aargau, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 28. Mai 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Feller