Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 20. August 1997 forderte die Kantonale Arbeitslosenkasse St. Gallen H._ (geb. 1964) auf, Taggelder der Arbeitslosenversicherung in Höhe von Fr. 25'311.90 zurückzuerstatten, da beim Leistungsbezug vom 1. September 1995 bis 31. Mai 1997 irrtümlich - und entgegen dem Antrag auf Arbeitslosenentschädigung (vom 7. September 1995) - Taggelder auf der Grundlage einer Vollzeitbeschäftigung und nicht eines 50 %-Pensums ausgerichtet worden seien. Dieser Verwaltungsakt blieb unangefochten. Das am 28. August 1997 gestellte Gesuch um Erlass der Rückerstattungsschuld lehnte das Regionale Arbeitsvermittlungszentrum St. Gallen mangels Gutgläubigkeit beim Leistungsbezug ab (Verfügung vom 27. September 2002).
A. Mit Verfügung vom 20. August 1997 forderte die Kantonale Arbeitslosenkasse St. Gallen H._ (geb. 1964) auf, Taggelder der Arbeitslosenversicherung in Höhe von Fr. 25'311.90 zurückzuerstatten, da beim Leistungsbezug vom 1. September 1995 bis 31. Mai 1997 irrtümlich - und entgegen dem Antrag auf Arbeitslosenentschädigung (vom 7. September 1995) - Taggelder auf der Grundlage einer Vollzeitbeschäftigung und nicht eines 50 %-Pensums ausgerichtet worden seien. Dieser Verwaltungsakt blieb unangefochten. Das am 28. August 1997 gestellte Gesuch um Erlass der Rückerstattungsschuld lehnte das Regionale Arbeitsvermittlungszentrum St. Gallen mangels Gutgläubigkeit beim Leistungsbezug ab (Verfügung vom 27. September 2002).
B. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen erhobene Beschwerde gut und schrieb das Gesuch um Erlass als gegenstandslos ab, weil die Rückerstattungsforderung zufolge Vollstreckungsverwirkung untergegangen sei (Entscheid vom 23. Januar 2004).
B. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen erhobene Beschwerde gut und schrieb das Gesuch um Erlass als gegenstandslos ab, weil die Rückerstattungsforderung zufolge Vollstreckungsverwirkung untergegangen sei (Entscheid vom 23. Januar 2004).
C. Das Amt für Arbeit des Kantons St. Gallen führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei die Sache zur materiellen Beurteilung an die Vorinstanz zurückzuweisen.
H._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen. Das Staatssekretariat für Wirtschaft verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die in der Vernehmlassung vom Beschwerdegegner geäusserten Zweifel an der Zulässigkeit der Verwaltungsgerichtsbeschwerde sind unbegründet. Die Beschwerdeführerin ist als kantonale Amtsstelle auf dem Gebiet der Arbeitslosenversicherung zur Beschwerde gegen den kantonalen Gerichtsentscheid befugt (Art. 85 in Verbindung mit <ref-law>).
1. Die in der Vernehmlassung vom Beschwerdegegner geäusserten Zweifel an der Zulässigkeit der Verwaltungsgerichtsbeschwerde sind unbegründet. Die Beschwerdeführerin ist als kantonale Amtsstelle auf dem Gebiet der Arbeitslosenversicherung zur Beschwerde gegen den kantonalen Gerichtsentscheid befugt (Art. 85 in Verbindung mit <ref-law>).
2. 2.1 Das kantonale Gericht hat die gesetzliche Bestimmung über den Erlass der Rückerstattung unrechtmässig bezogener Leistungen der Arbeitslosenversicherung (<ref-law> in der bis 31. Dezember 2002 gültig gewesenen Fassung) zutreffend dargelegt. Darauf wird verwiesen. Der Vorinstanz ist darin beizupflichten, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000, die dazugehörende Verordnung über den Allgemeinen Teil des Sozialversicherungsrechts (ATSV) vom 11. September 2002 sowie die damit in Zusammenhang stehenden Revisionen auf Gesetzes- und Verordnungsstufe im hier zu beurteilenden Fall nicht zur Anwendung gelangen, da nach dem massgebenden Zeitpunkt des Erlasses der strittigen Verwaltungsverfügung (hier: 27. September 2002) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2 mit Hinweisen).
2.2 Nach ständiger Rechtsprechung geht es beim Erlass einer Rückerstattungsschuld nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 OG (<ref-ruling> Erw. 2, 136 Erw. 1, 112 V 100 Erw. 1b, je mit Hinweisen). Das Eidgenössische Versicherungsgericht hat daher zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.2 Nach ständiger Rechtsprechung geht es beim Erlass einer Rückerstattungsschuld nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 OG (<ref-ruling> Erw. 2, 136 Erw. 1, 112 V 100 Erw. 1b, je mit Hinweisen). Das Eidgenössische Versicherungsgericht hat daher zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Der Rechtsstreit dreht sich letztinstanzlich um die Frage, ob die mit Verfügung vom 20. August 1997 festgesetzte, unangefochten in Rechtskraft erwachsene Rückerstattungsforderung in Höhe von Fr. 25'311.90 zufolge Eintritts der Vollstreckungsverwirkung untergegangen ist. Die Vorinstanz, welcher sich der Beschwerdegegner anschliesst, begründet ihren entsprechenden Standpunkt damit, analog zur AHV-rechtlichen Ordnung gälte eine fünfjährige Verwirkungsfrist, die, anders als in <ref-ruling> entschieden, nicht erst mit der rechtskräftigen Abweisung eines Erlassgesuches zu laufen beginne, sondern mit Eintritt der (formellen) Rechtskraft der Rückerstattungsverfügung. Dies rechtfertige sich insbesondere mit Blick auf <ref-ruling>, wonach ein gestützt auf <ref-law> eingereichtes Herabsetzungsgesuch den Lauf der Beitragsvollstreckungsfrist seinerseits nicht hemmt. Die Beschwerdeführerin hält ihrerseits zur Hauptsache dafür, in Nachachtung von <ref-ruling> sei ihre Rückerstattungsforderung nicht verwirkt.
3. Der Rechtsstreit dreht sich letztinstanzlich um die Frage, ob die mit Verfügung vom 20. August 1997 festgesetzte, unangefochten in Rechtskraft erwachsene Rückerstattungsforderung in Höhe von Fr. 25'311.90 zufolge Eintritts der Vollstreckungsverwirkung untergegangen ist. Die Vorinstanz, welcher sich der Beschwerdegegner anschliesst, begründet ihren entsprechenden Standpunkt damit, analog zur AHV-rechtlichen Ordnung gälte eine fünfjährige Verwirkungsfrist, die, anders als in <ref-ruling> entschieden, nicht erst mit der rechtskräftigen Abweisung eines Erlassgesuches zu laufen beginne, sondern mit Eintritt der (formellen) Rechtskraft der Rückerstattungsverfügung. Dies rechtfertige sich insbesondere mit Blick auf <ref-ruling>, wonach ein gestützt auf <ref-law> eingereichtes Herabsetzungsgesuch den Lauf der Beitragsvollstreckungsfrist seinerseits nicht hemmt. Die Beschwerdeführerin hält ihrerseits zur Hauptsache dafür, in Nachachtung von <ref-ruling> sei ihre Rückerstattungsforderung nicht verwirkt.
4. 4.1 <ref-law> (in der bis 31. Dezember 2002 gültig gewesenen Fassung, nachfolgend alt <ref-law>) stimmt inhaltlich mit <ref-law> (in Kraft gestanden bis 31. Dezember 2002 [nachfolgend: alt <ref-law>]) überein, indem hier wie dort unrechtmässig bezogene Leistungen, vorbehältlich des Erlasses bei gutem Glauben und gleichzeitigem Vorliegen einer grossen Härte, zurückzuerstatten sind (Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Bd. Soziale Sicherheit, S. 34 f. Rz 81 f.; Meyer-Blaser, Die Rückerstattung von Sozialversicherungsleistungen, in: ZBJV 131/1995 S. 490 f.). Bei dieser - altrechtlichen- Gesetzeslage drängt es sich auf, die im Bereich der AHV entwickelten Grundsätze analog auf die ALV anwendbar zu erklären. So ist gemäss SVR 1997 ALV Nr. 84 S. 256 Erw. 2c/aa mit Hinweisen die zu alt <ref-law> ergangene Rechtsprechung (<ref-ruling> Erw. 3a mit Hinweisen), wonach AHV-rechtlich eine Verwirkungsfrist vorliegt, die lediglich die Festsetzung der Rückforderung, nicht aber deren Vollstreckung betrifft, sinngemäss auch für den inhaltlich übereinstimmenden alt <ref-law> massgebend. Hinsichtlich der in alt <ref-law> nicht geregelten Vollstreckungsverwirkung ist in gleicher Weise lückenfüllend zu verfahren.
4.2 Nach <ref-ruling> ist für die Vollstreckung einer rechtskräftig festgelegten Rückerstattungsforderung von EL-Leistungen (wofür nach Art. 27 Abs. 1 ELV [in der bis 31. Dezember 2002 gültig gewesenen Fassung] die Vorschriften der AHV sinngemäss anwendbar sind) die Frist gemäss <ref-law> (bis 31. Dezember 1996: drei Jahre; nach der vom 1. Januar 1997 bis 31. Dezember 2002 gültig gewesenen Fassung: fünf Jahre) massgebend. Die Frist für die Durchsetzung der Rückerstattung beginnt dabei im Falle eines Erlassgesuches erst nach dessen rechtskräftiger Abweisung zu laufen (<ref-ruling> Erw. 3b). Analoges hat nach dem Gesagten für die hier im Streite liegende Vollstreckung einer rechtskräftig festgesetzten Rückforderung von Leistungen nach ALV, deren Erlass die Verwaltung ablehnt, zu gelten. Mit Blick darauf, dass die Rückforderungsverfügung zwar schon am 20. August 1997, die hier streitige Erlass-Ablehnungsverfügung jedoch erst am 27. September 2002 erging, kommt dabei in Analogie zu <ref-law> (in der vom 1. Januar 1997 bis 31. Dezember 2002 gültig gewesenen Fassung, AS 1996 2466 2488) die fünfjährige Vollstreckungsverwirkungsfrist zur Anwendung. Daran ändert nichts, dass laut <ref-ruling> die Frist zur Vollstreckung rechtskräftig zugesprochener Leistungen (im Streite lag eine Witwenabfindung) zehn Jahre beträgt und diese Rechtsprechung in SVR 2002 IV Nr. 15 S. 47 auf den Bereich der Invalidenversicherung (strittig war dort die Auszahlung einer Invalidenrente) übertragen wurde.
4.2 Nach <ref-ruling> ist für die Vollstreckung einer rechtskräftig festgelegten Rückerstattungsforderung von EL-Leistungen (wofür nach Art. 27 Abs. 1 ELV [in der bis 31. Dezember 2002 gültig gewesenen Fassung] die Vorschriften der AHV sinngemäss anwendbar sind) die Frist gemäss <ref-law> (bis 31. Dezember 1996: drei Jahre; nach der vom 1. Januar 1997 bis 31. Dezember 2002 gültig gewesenen Fassung: fünf Jahre) massgebend. Die Frist für die Durchsetzung der Rückerstattung beginnt dabei im Falle eines Erlassgesuches erst nach dessen rechtskräftiger Abweisung zu laufen (<ref-ruling> Erw. 3b). Analoges hat nach dem Gesagten für die hier im Streite liegende Vollstreckung einer rechtskräftig festgesetzten Rückforderung von Leistungen nach ALV, deren Erlass die Verwaltung ablehnt, zu gelten. Mit Blick darauf, dass die Rückforderungsverfügung zwar schon am 20. August 1997, die hier streitige Erlass-Ablehnungsverfügung jedoch erst am 27. September 2002 erging, kommt dabei in Analogie zu <ref-law> (in der vom 1. Januar 1997 bis 31. Dezember 2002 gültig gewesenen Fassung, AS 1996 2466 2488) die fünfjährige Vollstreckungsverwirkungsfrist zur Anwendung. Daran ändert nichts, dass laut <ref-ruling> die Frist zur Vollstreckung rechtskräftig zugesprochener Leistungen (im Streite lag eine Witwenabfindung) zehn Jahre beträgt und diese Rechtsprechung in SVR 2002 IV Nr. 15 S. 47 auf den Bereich der Invalidenversicherung (strittig war dort die Auszahlung einer Invalidenrente) übertragen wurde.
5. Der vom kantonalen Gericht am Beginn der Vollstreckungsfrist gemäss <ref-ruling> Erw. 3b geäusserten Kritik (Erw. 3 erster Teil hievor) ist entgegenzuhalten, dass sich das Institut der Beitragsherabsetzung (nach <ref-law>) wesentlich vom hier strittigen Erlass der Rückerstattung unrechtmässig bezogener Leistungen unterscheidet. Der Erlass mildert - als Rechtswohltat bei gutem Glauben und grosser Härte - die in Nachachtung des Legalitätsprinzips verfügte Leistungsrückforderung als gesetzliches Korrektiv zur Beseitigung eines unrechtmässigen Zustandes. Zwischen einer Rückerstattungsforderung und deren allfälligem Erlass besteht somit ein enger Zusammenhang. Die Beitragsherabsetzung (nach <ref-law>) ist dagegen gänzlich unabhängig von der materiellen Beitragspflicht und bedeutet auch keine Korrektur derselben. Es stellt daher keinen Widerspruch zu <ref-ruling> dar, die Vollstreckung rechtskräftiger Leistungsrückforderungen mit <ref-ruling> einer Verwirkungsfrist zu unterwerfen, welche erst mit dem Eintritt der Rechtskraft der Ablehnung des Erlassgesuches zu laufen beginnt. Fehlen die Voraussetzungen für eine Änderung der Rechtsprechung (noch nicht in der Amtlichen Sammlung veröffentlichtes Urteil K. vom 24. Juni 2004, B 106/02, Erw. 5.1 mit Hinweisen), besteht im Rahmen der hier strittigen Rückforderung von Leistungen der ALV kein Anlass, von den Grundsätzen gemäss <ref-ruling> abzugehen. Dies gilt auch mit Blick darauf, dass das Eidgenössische Versicherungsgericht im noch nicht in der Amtlichen Sammlung veröffentlichten Urteil N. vom 13. Juli 2004, P 22/04, entschieden hat, dass Einsprachen gegen Verfügungen und Beschwerden gegen Einspracheentscheide betreffend die Rückerstattung unrechtmässig bezogener Ergänzungsleistungen von Gesetzes wegen aufschiebende Wirkung zukommt. Das Gleiche gilt nicht für Rechtsmittel gegen Beitragsverfügungen und -einspracheentscheide, wo die Ausgleichskasse nach wie vor einer allfälligen Beschwerde die aufschiebende Wirkung aberkennen kann, obwohl stets die Herabsetzung nach <ref-law> verlangt werden kann.
5. Der vom kantonalen Gericht am Beginn der Vollstreckungsfrist gemäss <ref-ruling> Erw. 3b geäusserten Kritik (Erw. 3 erster Teil hievor) ist entgegenzuhalten, dass sich das Institut der Beitragsherabsetzung (nach <ref-law>) wesentlich vom hier strittigen Erlass der Rückerstattung unrechtmässig bezogener Leistungen unterscheidet. Der Erlass mildert - als Rechtswohltat bei gutem Glauben und grosser Härte - die in Nachachtung des Legalitätsprinzips verfügte Leistungsrückforderung als gesetzliches Korrektiv zur Beseitigung eines unrechtmässigen Zustandes. Zwischen einer Rückerstattungsforderung und deren allfälligem Erlass besteht somit ein enger Zusammenhang. Die Beitragsherabsetzung (nach <ref-law>) ist dagegen gänzlich unabhängig von der materiellen Beitragspflicht und bedeutet auch keine Korrektur derselben. Es stellt daher keinen Widerspruch zu <ref-ruling> dar, die Vollstreckung rechtskräftiger Leistungsrückforderungen mit <ref-ruling> einer Verwirkungsfrist zu unterwerfen, welche erst mit dem Eintritt der Rechtskraft der Ablehnung des Erlassgesuches zu laufen beginnt. Fehlen die Voraussetzungen für eine Änderung der Rechtsprechung (noch nicht in der Amtlichen Sammlung veröffentlichtes Urteil K. vom 24. Juni 2004, B 106/02, Erw. 5.1 mit Hinweisen), besteht im Rahmen der hier strittigen Rückforderung von Leistungen der ALV kein Anlass, von den Grundsätzen gemäss <ref-ruling> abzugehen. Dies gilt auch mit Blick darauf, dass das Eidgenössische Versicherungsgericht im noch nicht in der Amtlichen Sammlung veröffentlichten Urteil N. vom 13. Juli 2004, P 22/04, entschieden hat, dass Einsprachen gegen Verfügungen und Beschwerden gegen Einspracheentscheide betreffend die Rückerstattung unrechtmässig bezogener Ergänzungsleistungen von Gesetzes wegen aufschiebende Wirkung zukommt. Das Gleiche gilt nicht für Rechtsmittel gegen Beitragsverfügungen und -einspracheentscheide, wo die Ausgleichskasse nach wie vor einer allfälligen Beschwerde die aufschiebende Wirkung aberkennen kann, obwohl stets die Herabsetzung nach <ref-law> verlangt werden kann.
6. Weil es bei der Frage nach dem Erlass einer Rückerstattungsschuld nach ständiger Rechtsprechung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen im Sinne von Art. 132 OG geht (<ref-ruling> Erw. 2, 136 Erw. 1, 112 V 100 Erw. 1b, je mit Hinweisen), ist das Verfahren grundsätzlich kostenpflichtig (Umkehrschluss aus Art. 134 OG). Da der unterliegende und damit an sich zur Kostentragung verpflichtete Beschwerdegegner (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG) den kantonalen Entscheid in keiner Weise zu vertreten hat, rechtfertigt es sich indessen, von der Erhebung von Gerichtskosten für das letztinstanzliche Verfahren abzusehen, was Art. 156 Abs. 1 OG als Regelvorschrift, die Ausnahmen zulässt, erlaubt.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der angefochtene Entscheid vom 23. Januar 2004 aufgehoben und die Sache an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen, damit es über die Beschwerde vom 31. Oktober 2002 gegen die Verfügung des Regionalen Arbeitsvermittlungszentrums St. Gallen vom 27. September 2002 betreffend Erlass der Rückerstattungsschuld neu entscheide.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der angefochtene Entscheid vom 23. Januar 2004 aufgehoben und die Sache an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen, damit es über die Beschwerde vom 31. Oktober 2002 gegen die Verfügung des Regionalen Arbeitsvermittlungszentrums St. Gallen vom 27. September 2002 betreffend Erlass der Rückerstattungsschuld neu entscheide.
2. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
2. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
3. Der geleistete Kostenvorschuss von Fr. 1800.- wird dem Amt für Arbeit des Kantons St. Gallen zurückerstattet.
3. Der geleistete Kostenvorschuss von Fr. 1800.- wird dem Amt für Arbeit des Kantons St. Gallen zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Kantonalen Arbeitslosenkasse St. Gallen und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 17. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: