Sachverhalt:
A. X._ hatte für das Steuerjahr 1998 Staats- und Gemeindesteuern im Betrag von Fr. 1'938.-- zu viel bezahlt. Am 9. Oktober 2001 wurde der Betrag zuzüglich der bis dahin aufgelaufenen Vergütungszinsen (insgesamt Fr. 2'071.50) mit der provisorischen Rechnung für das Steuerjahr 2001 (Fr. 1'188.70) verrechnet. Die Restanz von Fr. 882.80 wurde am 30. April 2002 auf das Steuerjahr 2002 übertragen und am 31. Oktober 2002 mit der provisorischen Steuerrechnung 2002 von Fr. 1088.60 verrechnet. Der für dieses Jahr verbleibende Betrag von Fr. 800.90 wurde mit der provisorischen Steuerrechnung 2004 verrechnet.
Für die Kantons- und Gemeindesteuern 2006 wurde X._ mit Einkommenssteuern von Fr. 38'781.10 veranlagt. Die damals noch bestehenden Steuerguthaben des Steuerpflichtigen aus den Jahren 2004 und 2007 im Betrag von Fr. 1'214.10 bzw. Fr. 813.40 (insgesamt Fr. 2027.50) wurden mit dieser Forderung verrechnet, womit eine Steuerforderung von Fr. 36'753.60 verblieb. Die Veranlagung ist rechtskräftig.
Am 30. Januar 2011 gelangte X._ an die Finanzverwaltung Magden mit dem Antrag, ihm ein Steuerguthaben von Fr. 2'041.55 (Fr. 2'027.50 + noch nicht erstatteter Vergütungszins 2002 von Fr. 14.05) auszubezahlen, was diese ablehnte. Seinen gegen diesen Entscheid gerichteten Rekurs wies der Einzelrichter des Steuerrekursgerichts des Kantons Aargau am 16. Juni 2011 ab, soweit darauf eingetreten wurde.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den erwähnten Entscheid des Steuerrekursgerichts aufzuheben und die Gemeinde Magden zu verpflichten, ihm ein Steuerguthaben von Fr. 2'041.55 "inklusive aufgelaufener Zinsen" auszubezahlen.
Das Kantonale Steueramt Aargau stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Das Steuerrekursgericht hat auf eine Vernehmlassung verzichtet.
Das Verwaltungsgericht des Kantons Aargau und die Eidgenössische Steuerverwaltung haben keinen Antrag gestellt.

Erwägungen:
1. 1.1 Streitig war im kantonalen Verfahren einzig die grundsätzliche Frage der weiteren Verrechenbarkeit des noch in Bezug auf die Staats- und Gemeindesteuern 1998 bestandenen, rechtskräftig festgestellten Steuerguthabens von Fr. 2'071.50 (Fr. 1'938.-- zuzüglich Vergütungszins) mit den rechtskräftig geschuldeten Kantons- und Gemeindesteuern 2006.
Anzuwenden ist demnach in materieller Hinsicht gemäss § 261 des am 1. Januar 2001 in Kraft getretenen kantonalen Steuergesetzes vom 15. Dezember 1998 (StG/AG) noch das kantonale Gesetz vom 13. Dezember 1983 über die Steuern auf Einkommen, Vermögen, Grundstückgewinnen, Erbschaften und Schenkungen (aStG/AG).
1.2 Gemäss § 231 Abs. 3 StG/AG kann bei Anständen im Bezugsverfahren gegen den Entscheid der Bezugsbehörde Rekurs beim Steuerrekursgericht erhoben werden, dessen Präsident als Einzelrichter endgültig entscheidet (Abs. 4).
1.3 Die Beschwerde ist unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) von einer durch den Entscheid besonders berührten Partei mit einem schutzwürdigen Interesse an dessen Aufhebung oder Änderung (Art. 89 Abs. 1 BGG) eingereicht worden. Sie richtet sich gegen einen von einer letzten kantonalen oberen Instanz (Art. 86 Abs. 1 lit. d und Abs. 2 BGG) gefällten Endentscheid (Art. 90 BGG) in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor.
Das aargauische Steuerrekursgericht ist ein unteres kantonales Gericht. Es erscheint daher fraglich, ob es Art. 86 Abs. 2 BGG genügt, wonach die Kantone als unmittelbare Vorinstanzen des Bundesgerichts obere Gerichte einsetzen müssen, soweit nicht nach einem anderen Bundesgesetz Entscheide anderer richterlicher Behörden der Beschwerde ans Bundesgericht unterliegen. Denn eine Ausnahme vom Erfordernis des "oberen" Gerichts gilt nur, wenn Spezialbestimmungen des Bundesrechts dies vorsehen. Eine solche Spezialbestimmung ist Art. 31 Abs. 1 des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe (WPEG; SR 661; vgl. Urteil 2C_221/2009 vom 21. Januar 2010 E. 1.2). Dies gilt auch für Art. 50 Abs. 3 in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14). Daher genügt das aargauische Steuerrekursgericht im Anwendungsbereich des Steuerharmonisierungsgesetzes den Anforderungen von Art. 86 Abs. 2 BGG. Im vorliegenden Fall geht es indessen zwar um dem Steuerharmonisierungsgesetz unterstellte direkte Steuern der Kantone und Gemeinden, jedoch nicht um deren Veranlagung, sondern nur um deren in diesem Erlass nicht geregelten Bezug. Da aber kein vernünftiger Grund dafür ersichtlich ist, zwar für die Steuerveranlagung, nicht jedoch für den Steuerbezug ein unteres Gericht als einzige verwaltungsunabhängige Instanz zuzulassen, ist davon auszugehen, dass Art. 50 Abs. 3 StHG analog auch für das Steuerbezugsverfahren gilt und somit auch in diesem Bereich zulässigerweise ein unteres kantonales Gericht als Vorinstanz des Bundesgerichts eingesetzt werden darf.
2. 2.1 Die Vorinstanz hat erkannt, das dem Beschwerdeführer zustehende Steuerguthaben aus den zu viel bezahlten Staats- und Gemeindesteuern im Betrag von Fr. 2'071.50 sei diesem nicht zurückbezahlt, sondern zulässigerweise jeweils mit den provisorischen (Kantons- und Gemeindesteuern 2001 bis 2005) bzw. den definitiven Kantons- und Gemeindesteuern 2000 sowie 2006 verrechnet worden.
Der Beschwerdeführer erblickt darin eine Verletzung des Rechtsgrundsatzes der Rückforderung einer grundlos erbrachten Leistung, des rechtlichen Gehörs (Art. 29 Abs. 2 BV), des Willkürverbotes und des Rechtsmissbrauchsverbotes (Art. 9 BV).
2.2 Inwieweit das allgemeine Willkürverbot und das Rechtsmissbrauchsverbot sowie der Anspruch auf rechtliches Gehör verletzt sein sollen, legt der Beschwerdeführer nicht rechtsgenügend dar, weshalb darauf nicht einzutreten ist. Entgegen seiner Auffassung hat die Vorinstanz im Übrigen durchaus die Rechtmässigkeit des Vorgehens der Behörde - d.h. die Nichtauszahlung bzw. die Verrechnung des Steuerguthabens - geprüft und beurteilt.
3. 3.1 Nach § 163 Abs. 2 aStG/AG (ebenso § 224 Abs. 3 StG/AG) sind zu Unrecht bezahlte Steuern mit Vergütungszins zurückzuerstatten, soweit keine Vergütungen gemäss § 161 (Skonto) gewährt worden sind; der Zins wird ab Zahlungsdatum berechnet, bei periodisch geschuldeten Einkommens- und Vermögenssteuern jedoch frühestens ab 1. Mai des Steuerjahres. Eine Frist für die Rückerstattung ist nicht vorgesehen.
3.2 Es ist unbestritten, dass der Beschwerdeführer gemäss Steuerbuchhaltung der Steuerbehörde im Oktober 2001 Anspruch auf Rückerstattung des für die Staats- und Gemeindesteuern 1998 zuviel bezahlten Steuerbetrages (einschliesslich Verzugszinsen) von Fr. 2'071.50 hatte, der ihm jedoch nicht ausbezahlt, sondern mit späteren Steuerforderungen verrechnet worden ist. Der Rückerstattungsanspruch des Beschwerdeführers ist dadurch unbestrittenermassen verrechnungsweise erfüllt worden (angefochtenes Urteil E. 4.3.5); dies wird vom Beschwerdeführer nicht in Frage gestellt.
3.3 Auch im öffentlichen Recht stellt die Verrechenbarkeit von gleichartigen und fälligen Geldforderungen zwischen den gleichen Rechtsträgern einen allgemeinen Rechtsgrundsatz dar, sofern sie nicht durch besondere gesetzliche Regelungen ausgeschlossen ist (vgl. <ref-ruling> E. 6.1.1; ULRICH HÄFELIN UND ANDERE, Allgemeines Verwaltungsrecht, 6. Aufl., 2010, N. 799). Dies gilt ebenfalls für das Steuerrecht (Urteil 2C_355/2010 vom 7. Dezember 2010 E. 5).
Der Beschwerdeführer geht selber davon aus, dass es den Steuerbehörden auch ohne ausdrückliche Norm im Steuergesetz zustehe, die in Frage stehende Forderung mit einer allfälligen Gegenforderung zu verrechnen; dies jedoch nur soweit, als dem Guthaben im Zeitpunkt der Umbuchung eine fällige provisorische oder definitive Steuerforderung gegenüberstehe.
3.4 Die periodisch geschuldeten Einkommens- und Vermögenssteuern, für die bis zum 31. August eine provisorische Rechnung oder eine Veranlagung zugestellt worden ist, sind bis zum 31. August des Steuerjahres zu bezahlen (§ 160 Abs. 1 aStG/AG, "Verfalltag"; ebenso § 223 Abs. 1 StG/AG). Es war dafür eine provisorische Rechnung zu stellen, wenn bis zum Skontotermin keine Veranlagung vorlag (§ 162 Abs. 1 aStG/AG). Nach neuem Recht ist stets eine provisorische Rechnung zuzustellen (§ 225 Abs. 1 StG/AG). Es ist somit mit der Vorinstanz davon auszugehen, dass die Verrechnungen mit den auf Grund der Rechnungstellung fälligen provisorischen bzw. definitiven Steuerforderungen grundsätzlich zulässig waren.
3.5 Aus dem Umstand, dass im Steuerjahr 2001 einem Restbetrag von Fr. 882.80 und im Steuerjahr 2002 einem solchen von Fr. 800.90 keine fälligen Steuerforderungen gegenüberstanden, kann der Beschwerdeführer nichts zu seinen Gunsten ableiten. Denn der Beschwerdeführer hätte sich gegen die Verweigerung der Rückerstattung durch die Gemeinde zur Wehr setzen können. So hätte er die Möglichkeit gehabt, gestützt auf § 166 Abs. 1 aStG/AG bzw. § 231 Abs. 2 StG/AG betreffend Nichtauszahlung und Übertragung der Restguthaben auf die folgenden Steuerjahre unverzüglich den Erlass einer anfechtbaren Verfügung zu verlangen. Davon hat er nach den verbindlichen Feststellungen der Vorinstanz jedoch keinen Gebrauch gemacht, sodass seine Ansprüche erhalten blieben und später mit neuen Steuerschulden verrechnet werden konnten.
Da die Steuerguthaben von Gesetzes wegen zu verzinsen waren - und auch verzinst wurden, soweit und solange ihnen im jeweiligen Steuerjahr keine Gegenforderung mehr entgegenstand - ist dem Beschwerdeführer zudem kein wirtschaftlicher Nachteil erwachsen. Im Zeitpunkt der tatsächlich vorgenommenen Verrechnung standen den in der Steuerbuchhaltung übertragenen Restguthaben jedenfalls stets fällige Steuerforderungen gegenüber.
3.6 Die Vorinstanz durfte somit ohne Verletzung von Bundesrecht die in Frage stehenden Verrechnungen als zulässig und berechtigt erachten.
3.7 Soweit sich der Beschwerdeführer auch im vorliegenden Verfahren mit den rechtkräftigen Veranlagungen auseinandersetzt, ist darauf nicht einzutreten.
4. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Da sich die Rechtsbegehren des Beschwerdeführers als von vornherein aussichtslos erwiesen, kann ihm die unentgeltliche Rechtspflege nicht gewährt werden (Art. 64 Abs. 1 BGG). Entsprechend dem Ausgang hat der Beschwerdeführer daher die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 66 Abs. 1 BGG). Seiner offensichtlichen Bedürftigkeit wird bei der Bemessung der Kosten Rechnung getragen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Magden, dem Steueramt des Kantons Aargau, dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, dem Steuerrekursgericht des Kantons Aargau, Einzelrichter, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Küng