Sachverhalt:
A. Mit Verfügung vom 8. Januar 2002 forderte die Öffentliche Arbeitslosenkasse des Kantons Aargau von S._ zu Unrecht bezogene Taggelder in Höhe von - nach Verrechnung mit einer Rentennachzahlung der Invalidenversicherung - Fr. 10'920.55 zurück. Auf Beschwerde hin hob das Versicherungsgericht des Kantons Aargau diese Verfügung mit Entscheid vom 7. Mai 2002 auf und wies die Sache an die Arbeitslosenkasse zurück, damit diese "den Fall zum Entscheid über die Vermittlungsfähigkeit" der zuständigen kantonalen Amtsstelle unterbreite, und "nach Rechtskraft dieses Entscheides gegebenenfalls neu über eine Rückforderung verfüge". Das Amt für Wirtschaft und Arbeit des Kantons Aargau verneinte die Vermittlungsfähigkeit ab 1. April 2001 und lehnte dementsprechend den geltend gemachten Anspruch auf Arbeitslosenentschädigung mit Verfügung vom 19. August 2002 ab. Am 1. Oktober 2002 forderte die Arbeitslosenkasse verfügungsweise die für die Monate April bis Dezember 2001 zu viel ausgerichtete Arbeitslosenentschädigung in Höhe von Fr. 24'589.55 - und nach Verrechnung mit der Invalidenrenten-Nachzahlung noch Fr. 18'629.55 - zurück. Sowohl gegen die Verfügung des Amtes für Wirtschaft und Arbeit vom 19. August 2002 als auch gegen diejenige der Arbeitslosenkasse vom 1. Oktober 2002 erhob S._ je Beschwerde an das kantonale Versicherungsgericht, von welchem diese beiden Rechtsmittel nach erfolgter Verfahrensvereinigung mit Entscheid vom 1. April 2003 abgewiesen wurden.
Am 23. Juni 2003 ersuchte S._ das Amt für Wirtschaft und Arbeit um Erlass der Rückerstattungsschuld. Das Amt lehnte das Gesuch mit Verfügung vom 11. August 2004 mangels Vorliegens einer grossen Härte der Rückerstattung ab. Mit Entscheid vom 12. Oktober 2004 wies es die dagegen erhobene Einsprache ab, wobei es als Begründung anführte, das Gesuch hätte, da es nicht rechtzeitig eingereicht worden sei, gar nicht geprüft werden dürfen.
B. Mit Entscheid vom 6. Juli 2005 änderte das Versicherungsgericht des Kantons Aargau den Einspracheentscheid vom 12. Oktober 2004 dahin gehend ab, "als auf das Erlassgesuch vom 23. Juni 2003 nicht eingetreten wird".
C. Mit Verwaltungsgerichtsbeschwerde beantragt S._: "... Das Versicherungsgericht muss auf meine Einsprache gegen die Verfügung vom 11. August 2004 eintreten und die Situation aufgrund der gemachten Anträge beurteilen (...)."
Das Amt für Wirtschaft und Arbeit schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das kantonale Gericht und das Staatssekretariat für Wirtschaft verzichten auf eine Stellungnahme.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Rückerstattungsforderung der Arbeitslosenkasse vom 1. Oktober 2002 über Fr. 18'629.55 ist mit unangefochten gebliebenem und damit in Rechtskraft erwachsenem Entscheid des kantonalen Gerichts vom 1. April 2003 bestätigt worden. Soweit die Argumentation in der Verwaltungsgerichtsbeschwerde darauf hinausläuft, die Rechtmässigkeit der Rückerstattungsforderung als solche in Frage zu stellen, ist deshalb darauf nicht mehr einzutreten. Gegenstand des angefochtenen Entscheids vom 6. Juli 2005 bildet einzig noch die vorinstanzliche Erkenntnis, dass das Gesuch des heutigen Beschwerdeführers um Erlass der Rückerstattungsschuld zu spät gestellt worden sei und die Verwaltung deshalb darauf von vornherein nicht mehr hätte eintreten dürfen.
1.1 Da somit eine rein verfahrensrechtliche Frage zu klären und nicht über die Bewilligung oder Verweigerung von Versicherungsleistungen zu befinden ist, prüft das Eidgenössische Versicherungsgericht nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1.2 Wie schon im kantonalen Entscheid zutreffend dargelegt worden ist, sind unrechtmässig bezogene Leistungen gemäss <ref-law> zurückzuerstatten (Satz 1); wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2; zur Rechtslage vor In-Kraft-Treten des ATSG vgl. Art. 95 Abs. 1 und 2 AVIG). Laut <ref-law> wird die Rückerstattung unrechtmässig gewährter Leistungen, die in gutem Glauben empfangen wurden, bei Vorliegen einer grossen Härte ganz oder teilweise erlassen. Abs. 2 derselben Bestimmung erklärt für die Beurteilung, ob eine grosse Härte vorliegt, den Zeitpunkt als massgebend, in welchem über die Rückforderung rechtskräftig entschieden ist. Nach <ref-law> wird der Erlass auf schriftliches Gesuch gewährt (Satz 1); das Gesuch ist zu begründen, mit den nötigen Belegen zu versehen und spätestens 30 Tage nach Eintritt der Rechtskraft der Rückforderungsverfügung einzureichen (Satz 2).
2. 2.1 Bereits in seiner dem kantonalen Gericht eingereichten Rechtsschrift vom 15. Oktober 2004 hat der Beschwerdeführer unter anderm geltend gemacht: "Seit meiner ersten Einsprache vom 14. Januar 2002 geht es im Grunde um nichts anderes als um den Erlass der Rückforderung. Ich kann absolut nicht nachvollziehen, dass ich einen Termin verpasst haben sollte." In seiner Verwaltungsgerichtsbeschwerde findet sich der in die gleiche Richtung weisende Satz: "Bereits bei meiner ersten Einsprache stellte ich den Antrag um diese Beurteilung."
Tatsächlich hat der Beschwerdeführer im Schlusssatz der gegen die Verfügung der Arbeitslosenkasse vom 8. Januar 2002 gerichteten Beschwerdeschrift vom 14. Januar 2002 beantragt, es sei "mir die Rückforderung der Arbeitslosenkasse zu erlassen." Auf Grund der Begründung war zwar nicht eindeutig erkennbar, ob sich die Beschwerde gegen die Rückerstattungsforderung vom 8. Januar 2002 als solche richtet oder aber (auch) ein Erlassgesuch darstellt. Wie dem kantonalen Entscheid vom 7. Mai 2002 zu entnehmen ist, antwortete der Beschwerdeführer auf eine deshalb erfolgte Rückfrage der Vorinstanz vom 16. Januar 2002 hin, dass die Rückforderung angefochten sei, aber auch der Erlass beantragt werde.
2.2 Es ist demnach davon auszugehen, dass der heutige Beschwerdeführer schon in dem im Januar 2002 eingeleiteten gerichtlichen Verfahren ein Gesuch um Erlass der Rückerstattungsschuld gestellt hatte, welches zunächst allerdings von der Arbeitslosenkasse dem Amt für Wirtschaft und Arbeit zum Entscheid hätte unterbreitet werden müssen (vgl. <ref-law> [in der bis 31. Dezember 2002 gültig gewesenen Fassung]). Zu einer materiellen Prüfung ist es in der Folge indessen nicht gekommen, weil die Arbeitslosenkasse zur Verneinung der Vermittlungsfähigkeit nicht zuständig war. Das kantonale Gericht hob daher deren Rückerstattungsverfügung vom 8. Januar 2002 mit Entscheid vom 7. Mai 2002 auf und wies die Sache an die Arbeitslosenkasse zurück, damit das zuständige Amt für Wirtschaft und Arbeit bezüglich der Vermittlungsfähigkeit entscheide, worauf die Arbeitslosenkasse - gegebenenfalls - wiederum eine Rückforderungsverfügung zu erlassen habe. Nach dem Entscheid des kantonalen Versicherungsgerichts vom 7. Mai 2002 lag zunächst - zumindest vorübergehend - keine Rückforderungsverfügung mehr vor. Allerdings war das Rückforderungsverfahren auf Grund des Rückweisungsentscheids nach wie vor hängig. Dasselbe musste grundsätzlich aber auch gelten für das zusammen mit der Beschwerde gegen die Rückforderungsverfügung eingereichte Erlassgesuch.
2.3 Ob das weitere Verhalten des Beschwerdeführers, namentlich das Schreiben vom 11. August 2002, worin er ein (künftiges) Erlassgesuch in Aussicht stellte für den Fall einer Abweisung der Beschwerde gegen die Rückerstattungsverfügung, als Rückzug dieses Erlassgesuchs zu betrachten ist, kann offen gelassen werden, da - wie sich aus dem Folgenden ergibt - die Beschwerde selbst dann gutzuheissen ist, wenn man mit der Vorinstanz davon ausgeht, im Zeitpunkt des Entscheids vom 1. April 2003 sei kein Erlassgesuch vorgelegen.
3. 3.1 Ein neues Erlassgesuch hat der Beschwerdeführer dem Amt für Wirtschaft und Arbeit erst am 23. Juni 2003 als Reaktion auf eine Zahlungsaufforderung der Arbeitslosenkasse vom 18. Juni 2003 eingereicht. Daraufhin leitete die kantonale Amtsstelle Abklärungen finanzieller Art in die Wege und erliess schliesslich am 11. August 2004 eine ablehnende Verfügung, weil die Rückerstattung keine grosse wirtschaftliche Härte bedeuten würde. Wie zuvor schon die Einsprachestelle des Amtes für Wirtschaft und Arbeit in ihrem Entscheid vom 12. Oktober 2004 gelangte auch das kantonale Versicherungsgericht im angefochtenen Entscheid vom 6. Juli 2005 zum Schluss, dass das Erlassgesuch vom 23. Juni 2003 nicht innert der in <ref-law> vorgesehenen 30-tägigen Frist gestellt worden ist und deshalb nicht mehr materiell hätte beurteilt werden dürfen.
3.2 Aus den Akten ergibt sich, dass der Entscheid des kantonalen Versicherungsgerichts vom 1. April 2003, welcher die Rückerstattungsverfügung der Arbeitslosenkasse vom 1. Oktober 2002 letztinstanzlich bestätigte, der Arbeitslosenkasse am 11. April 2003 zugestellt worden ist. Es darf angenommen werden, dass er auch dem Beschwerdeführer ungefähr zur selben Zeit ausgehändigt wurde, sodass er in der ersten Hälfte des Monats Mai 2003 rechtskräftig geworden sein dürfte. Das Erlassgesuch vom 23. Juni 2003 ist daher erst nach Ablauf der in <ref-law> vorgesehenen 30-tägigen Frist eingereicht worden.
3.3 Damit stellt sich die Frage, welche Folgen mit der genannten Fristversäumnis verbunden sind. Vor In-Kraft-Treten des ATSG und der ATSV fand sich in alt <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung) eine mit der heutigen Regelung in <ref-law> (vgl. Erw. 1.3 hievor) vergleichbare Bestimmung. Diese lautete:
"Der Erlass wird von der Ausgleichskasse auf schriftliches Gesuch des Rückerstattungspflichtigen hin verfügt. Das Gesuch ist zu begründen und innert 30 Tagen seit der Zustellung der Rückerstattungsverfügung der Ausgleichskasse einzureichen. Vorbehalten bleibt Absatz 3."
Abs. 3 von alt <ref-law> sah vor, dass die Ausgleichskasse den Erlass von sich aus verfügen kann, wenn die Voraussetzungen gemäss Absatz 1 offensichtlich erfüllt sind.
Bereits in <ref-ruling> f. Erw. 2 hat das Eidgenössische Versicherungsgericht erkannt, dass der Frist in alt <ref-law> nur der Charakter einer Ordnungsvorschrift zukommt. Zur Begründung führte es an, bei der Beurteilung der grossen Härte als einer der Erlassvoraussetzungen sei von den wirtschaftlichen Verhältnissen in dem Zeitpunkt auszugehen, in welchem der Rückerstattungspflichtige bezahlen sollte; wollte man sich wörtlich an (alt) <ref-law> halten, wäre später, nach Ablauf der mit Erlass der Rückerstattungsverfügung ausgelösten Frist, eine Berufung auf grosse Härte ausgeschlossen, was sich mit dem Wortlaut des <ref-law> nicht vereinbaren lasse; wählt der Empfänger einer Rückerstattungsverfügung den Beschwerdeweg und nicht die Möglichkeit des sofortigen Erlassgesuchs, müsse es ihm erlaubt sein, sich auch noch nach rechtskräftiger Verpflichtung zur Rückerstattung auf die grosse Härte derselben zu berufen und ein Erlassgesuch einzureichen. Im Weiteren erwog das Gericht, <ref-law> gestatte den Ausgleichskassen, den Erlass von sich aus zu verfügen, sofern die Voraussetzungen dazu offensichtlich erfüllt sind; es sei nicht ersichtlich, wie der Verfall des Anspruches auf Erlass mit der Tatsache vereinbar sein soll, dass die Verwaltung gleichzeitig befugt ist, von Amtes wegen zu verfügen; daher könne nur gefolgert werden, dass die von <ref-law> vorgesehene Frist bloss Ordnungscharakter hat (<ref-ruling> Erw. 2; vgl. deutsche Übersetzung in: ZAK 1987 S. 165 Erw. 2).
3.4 Die Argumentation in <ref-ruling> f. Erw. 2 lässt sich nicht ohne weiteres analog auf den nunmehr geltenden <ref-law> übertragen. Anders als alt <ref-law> knüpft <ref-law> für die Auslösung der vorgesehenen Frist zur Stellung eines Erlassgesuchs nicht mehr an die Zustellung der Rückerstattungsverfügung, sondern erst an den Eintritt der Rechtskraft derselben an. Dies mag allenfalls ein Zeichen dafür sein, dass der Verordnungsgeber in Abweichung von der früheren Rechtsprechung bewusst eine Verwirkungsfrist setzen wollte. In seinem Kommentar zum Erlass der Verordnung über den Allgemeinen Teil des Sozialversicherungsrechts (ATSV) ging das Bundesamt für Sozialversicherung (BSV) unter Verweis auf ZAK 1987 S. 164 ff. indessen auch davon aus, dass es sich bei der zur Einreichung eines Erlassgesuchs gesetzten 30-tägigen Frist nach Rechtskraft der Rückforderungsverfügung - gemäss geltender Rechtsprechung - um eine Ordnungsvorschrift handelt. Im Rahmen des anschliessend durchgeführten Konsultationsverfahrens fielen die Meinungen zu diesem Punkt unterschiedlich aus. Die Schweizerische Unfallversicherungsanstalt etwa warf ausdrücklich die Frage auf, ob es tatsächlich - wie im Kommentar festgehalten - um Ordnungsfristen oder nicht vielmehr um Verwirkungsfristen gehe. Andere Versicherungsträger stellten sich demgegenüber sogar klar auf den Standpunkt, dass es sich - entgegen den Ausführungen des BSV im Kommentar zum Erlass einer ATSV - nur um eine Verwirkungs- und nicht um eine Ordnungsvorschrift handeln könne. Schliesslich wurde auch darauf hingewiesen, dass, unabhängig davon, ob es sich um eine Ordnungs- oder um eine Verwirkungsfrist handeln soll, eine solche Frist im Gesetz nirgends vorgesehen ist, weshalb das BSV mit deren Einführung die ihm eingeräumten Kompetenzen überschreite.
Letzterem Gesichtspunkt muss die notwendige Beachtung geschenkt werden. Auch wenn der abweichende Wortlaut von <ref-law> das Vorliegen einer Verwirkungsfrist nicht mehr so klar wie derjenige von alt <ref-law> ausschliesst, steht das Fehlen einer entsprechenden Kompetenzdelegation an den Verordnungsgeber zur Fristansetzung der Annahme einer Verwirkungsfrist entgegen. Es muss daher damit sein Bewenden haben, dass die 30-tägige Frist in <ref-law> lediglich eine Ordnungsvorschrift darstellt. Dies steht auch mit dem Bestreben des Gesetzgebers in Einklang, welcher mit dem ATSG grundsätzlich keine substanziellen Neuerungen schaffen, sondern lediglich die bisherige Rechtslage in einem für alle betroffenen Sozialversicherungszweige gleichermassen geltenden Erlass einheitlich kodifizieren wollte. Im Übrigen wird in <ref-law> - ähnlich wie früher in alt <ref-law> - wiederum vorgesehen, dass der Versicherer den Verzicht auf die Rückforderung verfügen kann, wenn offensichtlich ist, dass die Voraussetzungen für den Erlass gegeben sind. Auch dies spricht - wie schon unter der Rechtsprechung zu alt Art. 79 Abs. 2 und 3 AHVV (Erw. 3.3 hievor in fine) - dafür, der Frist zur Stellung eines Erlassgesuchs lediglich Ordnungscharakter beizumessen.
3.5 Aus dem Gesagten ergibt sich, dass das Amt für Wirtschaft und Arbeit das Erlassgesuch vom 23. Juni 2003 zu Recht materiell geprüft hat. Im daran anschliessenden Einspracheverfahren hätte das Amt für Wirtschaft und Arbeit die Erlassfrage - sofern die übrigen Eintretensvoraussetzungen erfüllt waren - ebenfalls materiell überprüfen müssen. Um dies nachzuholen, ist die Sache an die kantonale Amtsstelle zurückzuweisen. Lehnt sie den beantragten Erlass - aus formellen oder, wie bereits im Einspracheentscheid vom 12. Oktober 2004 angekündigt, aus materiellen Gründen - erneut ab, kann der Beschwerdeführer wiederum ans kantonale Versicherungsgericht gelangen.
4. Weil nicht die Bewilligung oder Verweigerung von Versicherungsleistungen, sondern eine rein prozessrechtliche Frage streitig war, sind für das Verfahren vor dem Eidgenössischen Versicherungsgericht grundsätzlich Kosten zu erheben (Umkehrschluss aus Art. 134 OG). Nach Art. 135 in Verbindung mit Art. 156 Abs. 1 OG werden die Gerichtskosten in der Regel der vor dem Eidgenössischen Versicherungsgericht unterliegenden Partei auferlegt. Gemäss Art. 156 Abs. 2 OG dürfen dem Bund, Kantonen oder Gemeinden, die in ihrem amtlichen Wirkungskreis und ohne dass es sich um ihr Vermögensinteresse handelt, das Eidgenössische Versicherungsgericht in Anspruch nehmen, oder gegen deren Verfügungen in solchen Angelegenheiten Beschwerde geführt worden ist, in der Regel keine Gerichtskosten auferlegt werden. Die angefochtene Verfügung betrifft die Vermögensinteressen des Amtes für Wirtschaft und Arbeit nicht, weshalb von einer Auferlegung der Gerichtskosten trotz Unterliegens abzusehen ist (ARV 1998 Nr. 41 S. 240 Erw. 5).

Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Versicherungsgerichts des Kantons Aargau vom 6. Juli 2005 und der Einspracheentscheid vom 12. Oktober 2004 aufgehoben, und es wird die Sache an das Amt für Wirtschaft und Arbeit des Kantons Aargau zurückgewiesen, damit es über die ihm eingereichte Einsprache vom 12. August 2004 im Sinne der Erwägungen befinde.
2. Es werden keine Gerichtskosten erhoben.
3. Der geleistete Kostenvorschuss von Fr. 500.- wird dem Beschwerdeführer zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Öffentlichen Arbeitslosenkasse des Kantons Aargau und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 6. Januar 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der I. Kammer: Der Gerichtsschreiber: