Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 13. Juli 2001 verpflichtete die Arbeitslosenkasse des Kantons St. Gallen F._ (als Inhaber einer Arbeitnehmende beschäftigenden Einzelfirma), die in den Jahren 1998 bis 2000 bereits ausbezahlten Kurzarbeitsentschädigungen im Betrag von Fr. 52'742.90 zurückzuerstatten. Das Versicherungsgericht des Kantons St. Gallen bestätigte dies am 12. Juni 2002. Dieser Entscheid blieb unangefochten. In der Folge ersuchte die Firma um Erlass der Rückzahlung. Mit Verfügung vom 12. März 2003 lehnte das Amt für Arbeit, St. Gallen, das Erlassgesuch ab, was es mit Einspracheentscheid vom 20. Mai 2003 bestätigte.
A. Mit Verfügung vom 13. Juli 2001 verpflichtete die Arbeitslosenkasse des Kantons St. Gallen F._ (als Inhaber einer Arbeitnehmende beschäftigenden Einzelfirma), die in den Jahren 1998 bis 2000 bereits ausbezahlten Kurzarbeitsentschädigungen im Betrag von Fr. 52'742.90 zurückzuerstatten. Das Versicherungsgericht des Kantons St. Gallen bestätigte dies am 12. Juni 2002. Dieser Entscheid blieb unangefochten. In der Folge ersuchte die Firma um Erlass der Rückzahlung. Mit Verfügung vom 12. März 2003 lehnte das Amt für Arbeit, St. Gallen, das Erlassgesuch ab, was es mit Einspracheentscheid vom 20. Mai 2003 bestätigte.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 10. März 2004 ab.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 10. März 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt F._ den Erlass der Rückforderung beantragen. Gleichzeitig ersucht er um unentgeltliche Prozessführung und Verbeiständung.
Das kantonale Amt für Arbeit wie auch das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.
Das kantonale Amt für Arbeit wie auch das Staatssekretariat für Wirtschaft (seco) verzichten auf eine Vernehmlassung.
D. Am 10. November 2004 weist das Eidgenössische Versicherungsgericht das Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung ab, worauf F._ den einverlangten Kostenvorschuss an die Gerichtskasse leistet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Verfügung vom 13. Juli 2001, mit welcher der Beschwerdeführer zur Rückerstattung von Kurzarbeitsentschädigung im Betrag von Fr. 52'742.90 verpflichtet wurde, ist vom kantonalen Gericht rechtskräftig bestätigt worden. Im vorliegenden Verfahren ist nur noch zu prüfen, ob die Erlassvoraussetzungen gegeben sind.
1. Die Verfügung vom 13. Juli 2001, mit welcher der Beschwerdeführer zur Rückerstattung von Kurzarbeitsentschädigung im Betrag von Fr. 52'742.90 verpflichtet wurde, ist vom kantonalen Gericht rechtskräftig bestätigt worden. Im vorliegenden Verfahren ist nur noch zu prüfen, ob die Erlassvoraussetzungen gegeben sind.
2. Weil es in Verfahren um den Erlass der Rückerstattung zu Unrecht bezogener Leistungen nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (<ref-ruling> Erw. 1 und 222 Erw. 2, je mit Hinweisen), gilt die eingeschränkte Kognition mit der Folge, dass das Eidgenössische Versicherungsgericht lediglich zu prüfen hat, ob das kantonale Gericht als Vorinstanz Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Weil es in Verfahren um den Erlass der Rückerstattung zu Unrecht bezogener Leistungen nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (<ref-ruling> Erw. 1 und 222 Erw. 2, je mit Hinweisen), gilt die eingeschränkte Kognition mit der Folge, dass das Eidgenössische Versicherungsgericht lediglich zu prüfen hat, ob das kantonale Gericht als Vorinstanz Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Nach dem gemäss <ref-law> (in der auf den 1. Januar 2003 in Kraft getretenen Fassung) im Arbeitslosenversicherungsleistungsbereich grundsätzlich anwendbaren <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten (Satz 1); wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2). Vor dem In-Kraft-Treten des ATSG waren unrechtmässig bezogene Arbeitslosenversicherungsleistungen gemäss <ref-law> auf Gesuch hin ganz oder teilweise zu erlassen, wenn der Leistungsempfänger beim Bezug gutgläubig war und die Rückerstattung eine grosse Härte bedeuten würde.
3.1 Sowohl die den Erlass der Rückerstattungsschuld verweigernde Verfügung vom 12. März 2003 als auch der darauf folgende, diese bestätigende Einspracheentscheid vom 20. Mai 2003 sind erst nach dem In-Kraft-Treten des ATSG am 1. Januar 2003 ergangen. Der zur Bewilligung oder Verweigerung des Erlasses der Rückerstattungsschuld Anlass gebende Sachverhalt hingegen, nämlich der Leistungsbezug durch den Beschwerdeführer, hat sich vollständig vor dem 1. Januar 2003 verwirklicht. Wie das Eidgenössische Versicherungsgericht unlängst in <ref-ruling> entschieden hat, sind für die Anwendbarkeit materiellrechtlicher Bestimmungen des neuen Gesetzes - von hier nicht interessierenden Ausnahmen abgesehen - die übergangsrechtlichen Grundsätze massgebend, welche für den Fall einer Änderung der gesetzlichen Grundlagen die Ordnung anwendbar erklären, die zur Zeit galt, als sich der zu Rechtsfolgen führende Sachverhalt verwirklicht hat. Unter diesen Umständen ist bei der Beurteilung der streitigen Erlassfrage - entgegen der Annahme von Verwaltung und Vorinstanz - auf die bis 31. Dezember 2002 gültig gewesenen Bestimmungen des AVIG abzustellen. Für den Verfahrensausgang ist dies indessen von untergeordneter Bedeutung, weil die nach dem ATSG für den Erlass der Rückerstattung massgeblichen Grundsätze aus der früheren gesetzlichen Ordnung und der dazu entwickelten Rechtsprechung hervorgegangen sind und insoweit keine Änderung der Rechtslage vorliegt (<ref-ruling> Erw. 5.2).
3.2 Nach der Rechtsprechung sind auf <ref-law> die für die Erlassvoraussetzungen von <ref-law> geltenden Regeln analog anwendbar. Danach liegt guter Glaube nicht schon bei Unkenntnis des Rechtsmangels vor. Vielmehr darf sich der Leistungsempfänger nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Daraus erhellt, dass der gute Glaube von vornherein entfällt, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- und Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich der Rückerstattungspflichtige auf den guten Glauben berufen, wenn sein fehlerhaftes Verhalten nur eine leichte Fahrlässigkeit darstellt (<ref-ruling> Erw. 2c, 110 V 180 Erw. 3c; ARV 2003 Nr. 29 S. 260 Erw. 1.2 mit Hinweisen).
3.3 Praxisgemäss ist zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von Art. 105 Abs. 2 OG von der Vorinstanz verbindlich beurteilt wird. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> Erw. 3; AHI 2003 S. 161 Erw. 3a; ARV 2001 Nr. 18 S. 162 Erw. 3b; alle mit weiteren Hinweisen).
3.3 Praxisgemäss ist zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und ist daher Tatfrage, die nach Massgabe von Art. 105 Abs. 2 OG von der Vorinstanz verbindlich beurteilt wird. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> Erw. 3; AHI 2003 S. 161 Erw. 3a; ARV 2001 Nr. 18 S. 162 Erw. 3b; alle mit weiteren Hinweisen).
4. Das kantonale Gericht ging in den Erwägungen davon aus, dass dem Beschwerdeführer beim Bezug der Kurzarbeitsentschädigung ein Unrechtsbewusstsein fehlte. Es sprach indessen der Firma das Recht ab, sich unter den konkreten Umständen auf den guten Glauben berufen zu können.
Eine erfolgreiche Berufung auf den guten Glauben setzt voraus, dass die Firma sich keiner groben Nachlässigkeit schuldig gemacht hat, was im Folgenden näher zu prüfen ist. Die Rückforderung hatte ihren Rechtsgrund darin, dass anlässlich der vom seco gestützt auf <ref-law> und <ref-law> veranlassten Arbeitgeberkontrolle mangels hinreichender Unterlagen keine Überprüfung der Arbeitszeiten der von der Kurzarbeit betroffenen Arbeitnehmer vorgenommen werden konnte, weshalb ein Anspruch gemäss <ref-law> entfiel. Der Beschwerdeführer macht geltend, anlässlich der auf den 1. Mai 2000 erfolgten Liquidation der Einzelunternehmung und Überführung in eine Aktiengesellschaft habe eine Arbeitgeberkontrolle über die Abrechnung der AHV-, IV-, EO- und ALV-Beiträge stattgefunden. Dies habe seine Ehefrau glauben lassen, die betrieblichen Arbeitszeitkontrollen könnten vernichtet werden, was sie denn auch getan habe. Unter Verweis auf den Wortlaut von <ref-law> und damit auch jenen von <ref-law> in der bis Ende 2002 gültig gewesenen Fassung argumentiert der Beschwerdeführer weiter, es sei ohnehin allein entscheidend, ob zum Bezugszeitpunkt Gutgläubigkeit vorgelegen habe, was der Fall gewesen sei.
4.1 Der Umstand, dass in <ref-law> vom guten Glauben des Leistungsempfängers "beim Bezug" die Rede ist, ändert nichts daran, dass in der erst nach dem Leistungsbezug erfolgten Aktenentsorgung ein vorsätzliches oder grobfahrlässiges Verhalten liegt. Dies ergibt sich zwingend aus dem den Anspruch auf Kurzarbeitsentschädigung ausschliessenden Tatbestand der nicht ausreichenden Kontrollierbarkeit des Arbeitsausfalles (<ref-law>). Dieser muss vor, während und nach dem Bezug von Kurzarbeitsentschädigung überprüfbar sein. Weil bei der Kurzarbeitsentschädigung Leistungen aufgrund summarischer Abklärungen provisorisch gewährt werden und ein gründliches Beweisverfahren erst nachträglich anlässlich einer Arbeitgeberkontrolle stattfindet (vgl. <ref-ruling> Erw. 2c), muss trotz des Wortlautes von <ref-law> einem vorsätzlichen oder grobfahrlässigen Verhalten im Rahmen des nach dem Leistungsbezug erfolgenden Abklärungsverfahrens im Hinblick auf die Frage des Erlasses der Rückerstattung die gleiche Bedeutung zukommen wie einem entsprechenden Verhalten vor dem Leistungsbezug. Die gegenteilige wörtliche Auslegung und Anwendung der Bestimmung würde zu Ergebnissen führen, die sich mit Sinn und Zweck der Norm und mit der Rechtsgleichheit nicht vereinbaren liessen. Denn es sind keine Gründe und keine Rechtfertigung ersichtlich, weshalb der Erlass der Rückerstattung von Kurzarbeitsentschädigung unter weniger strengen Voraussetzungen gewährt werden sollte als jener der Rückerstattung anderer Leistungen. Anders zu entscheiden hiesse, eine Person, die in einem nachträglichen Abklärungsverfahren vorsätzlich oder grobfahrlässig handelt, gegenüber einer Person, die in einem vorgängigen Abklärungsverfahren ein solches Verhalten an den Tag legt, zu bevorzugen (ARV 2001 Nr. 18 S. 162 Erw. 4a/bb). Der Begriff "Bezug der Leistungen" gemäss <ref-law> umfasst demnach nicht nur den Auszahlungszeitpunkt, sondern auch denjenigen der Nachkontrolle gemäss <ref-law>.
4.1.1 Gemäss Abs. 1 von <ref-law> setzt die genügende Kontrollierbarkeit des Arbeitsausfalls eine betriebliche Arbeitszeitkontrolle voraus. Nach Abs. 2 dieser Bestimmung hat der Arbeitgeber die Unterlagen während fünf Jahren aufzubewahren. In der von kantonalen Arbeitsämtern den Arbeitgebern abgegebenen Informationsbroschüre "Kurzarbeitsentschädigung" des seco wird dies in den hier interessierenden Ausgaben 1997 und 2000 unter den Fragen "Wer hat keinen Anspruch auf Kurzarbeitsentschädigung?" (Seite 5, Punkt 2) und "Welche zusätzlichen Pflichten hat der Arbeitgeber?" (Seite 10, Punkt 6 bzw. Seite 8 Punkt 6) ebenfalls unmissverständlich festgehalten.
4.1.2 Entweder haben der Beschwerdeführer oder seine Ehefrau Verordnung und Informationsbroschüre nicht konsultiert oder sie haben diese nicht mit der gebotenen Aufmerksamkeit gelesen. Anhand der darin befindlichen klaren Hinweise hätten sie bei Anwendung eines Mindestmasses an Aufmerksamkeit erkennen können und müssen, dass die fraglichen Belege während fünf Jahren aufzubewahren sind. Weil es sich bei diesen Unterlagen um wichtige Dokumente handelte, galt für sie eine erhöhte Sorgfaltpflicht. Aus diesem Grund kann es nicht als leichte Nachlässigkeit gewertet werden, wenn im Anschluss an eine auf die Sozialversicherungsbeiträge bezogene Arbeitgeberkontrolle ohne Weiterungen auf den Wegfall der Aufbewahrungspflicht der den Arbeitszeitausfall nachweisenden Belege geschlossen wird. Im Zweifelsfall hätte es am Beschwerdeführer oder seiner Ehefrau gelegen, sich bei der Kasse darüber näher zu informieren, genau so wie es praxisgemäss der Antrag stellenden Firma obliegt abzuklären, ob ihr Zeiterfassungssystem eine im Hinblick auf die Anspruchsberechtigung ausreichende Kontrolle gewährleistet (vgl. ARV 2002 Nr. 37 S. 255 Erw. 4b).
4.2 Zusammengefasst sind der Beschwerdeführer und seine Ehefrau, deren Handeln ihm anzurechnen ist (RKUV 2000 Nr. KV 129 S. 233 Erw. 1b mit Hinweisen; SVR 2004 EL Nr. 2 S. 6 Erw. 4.1; SZS 2004 S. 476), dem unter den gegebenen Umständen gebotenen Mindestmass an Sorgfalt nicht nachgekommen. Ihr Verhalten kann nicht als leichte Nachlässigkeit eingestuft werden. Aus diesem Grund fehlt es bereits an der Erlassvoraussetzung des guten Glaubens. Das weitere Erfordernis der grossen Härte braucht demnach nicht näher geprüft zu werden.
4.2 Zusammengefasst sind der Beschwerdeführer und seine Ehefrau, deren Handeln ihm anzurechnen ist (RKUV 2000 Nr. KV 129 S. 233 Erw. 1b mit Hinweisen; SVR 2004 EL Nr. 2 S. 6 Erw. 4.1; SZS 2004 S. 476), dem unter den gegebenen Umständen gebotenen Mindestmass an Sorgfalt nicht nachgekommen. Ihr Verhalten kann nicht als leichte Nachlässigkeit eingestuft werden. Aus diesem Grund fehlt es bereits an der Erlassvoraussetzung des guten Glaubens. Das weitere Erfordernis der grossen Härte braucht demnach nicht näher geprüft zu werden.
5. Da nicht die Bewilligung oder Verweigerung von Versicherungsleistungen streitig ist (Erw. 2 hiervor), fällt das Verfahren nicht unter die Kostenfreiheit gemäss Art. 134 OG. Das Gesuch um unentgeltliche Prozessführung und Verbeiständung hat das Eidgenössische Versicherungsgericht bereits am 10. November 2004 abgewiesen. Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem unterliegenden Beschwerdeführer auferlegt (Art. 135 In Verbindung mit Art. 156 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit den geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit den geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Staatssekretariat für Wirtschaft und der Kantonalen Arbeitslosenkasse St. Gallen zugestellt.
Luzern, 30. Dezember 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: