Sachverhalt:
Mit Verfügung vom 5. April 2005 lehnte das Amt für Arbeit St. Gallen das Gesuch des E._ (geb. 1942) um Erlass einer Rückzahlung von bereits ausgerichteten Arbeitslosenentschädigungen im Ausmass von Fr. 28'016.50 ab. Daran hielt das Amt mit Einspracheentscheid vom 8. Juni 2005 fest.
Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 2. März 2006 ab.
E._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, die Rückforderung sei zu erlassen.
Das Amt für Arbeit schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft (seco) auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Weil es in Verfahren um den Erlass der Rückerstattung zu Unrecht bezogener Leistungen rechtsprechungsgemäss nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (<ref-ruling> Erw. 1 und 222 Erw. 2, je mit Hinweisen), gilt die eingeschränkte Kognition mit der Folge, dass das Eidgenössische Versicherungsgericht lediglich zu prüfen hat, ob das kantonale Gericht als Vorinstanz Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Weil es in Verfahren um den Erlass der Rückerstattung zu Unrecht bezogener Leistungen rechtsprechungsgemäss nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (<ref-ruling> Erw. 1 und 222 Erw. 2, je mit Hinweisen), gilt die eingeschränkte Kognition mit der Folge, dass das Eidgenössische Versicherungsgericht lediglich zu prüfen hat, ob das kantonale Gericht als Vorinstanz Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Das kantonale Gericht hat die gesetzlichen Vorschriften zur Rückerstattung von zu Unrecht erbrachten Leistungen der Arbeitslosenversicherung (<ref-law>; <ref-law>) und zum Erlass der Rückforderung (<ref-law>) sowie die zum Erlass ergangene Rechtsprechung (<ref-ruling> Erw. 3, 110 V 180 Erw. 3c) richtig dargelegt. Darauf wird verwiesen.
2. Das kantonale Gericht hat die gesetzlichen Vorschriften zur Rückerstattung von zu Unrecht erbrachten Leistungen der Arbeitslosenversicherung (<ref-law>; <ref-law>) und zum Erlass der Rückforderung (<ref-law>) sowie die zum Erlass ergangene Rechtsprechung (<ref-ruling> Erw. 3, 110 V 180 Erw. 3c) richtig dargelegt. Darauf wird verwiesen.
3. Verwaltung und Vorinstanz versagten dem Beschwerdeführer den Erlass der Rückforderung, weil der gute Glaube nicht bejaht werden könne. Der Versicherte habe im Antrag auf Arbeitslosenentschädigung am 21. März 2003 die Frage "Sind bzw. waren Sie oder ihr Ehegatte/Ehegattin am Betrieb beteiligt oder in leitender Funktion (z.B. Aktionär, Verwaltungsrat einer AG oder Gesellschafter, Geschäftsführer in einer GmbH, etc.?)" verneint, obwohl er und seine Ehefrau im damaligen Zeitpunkt bei der Firma Q._ GmbH je als Gesellschafter und Geschäftsführer mit Einzelunterschrift und einer Stammeinlage von je Fr. 10'000.- im Handelsregister eingetragen waren. Diese Sachverhaltsfeststellung ist für das Eidgenössische Versicherungsgericht bindend (Erw. 1 hievor). Wenn die Vorinstanz dies nicht mehr als bloss leichtfahrlässig taxiert hat, verletzte sie kein Bundesrecht (vgl. auch <ref-ruling> Erw. 3d). Was der Beschwerdeführer hiegegen vorbringt, vermag daran nichts zu ändern. Namentlich konnte er die Frage nicht deswegen verneinen, weil er die Anstellung als Geschäftsführer verloren hatte, bezog sich die Formulierung ("...bzw. waren Sie...") doch ausdrücklich auch auf die Vergangenheit. Sodann hilft ihm nicht, dass er die Rechtslage nicht gekannt hat, denn niemand kann aus seiner Rechtsunkenntnis Vorteile für sich ableiten (<ref-ruling> Erw. 2b/aa). Für die Verneinung des guten Glaubens ist kein Vorsatz und damit auch keine betrügerische Absicht nötig. Dass die Ehefrau in der Arbeitgeberbescheinigung die gleiche Frage bejaht hat, vermindert die eigene Fahrlässigkeit des Beschwerdeführers nicht. Schliesslich ist die angebliche Falschauskunft des Sachbearbeiters nicht erstellt. Nachdem der Beschwerdeführer die erwähnte Frage verneint hatte, bestand für die Verwaltung im Unterschied zu dem im Urteil W. vom 28. Oktober 2005, C 157/05, geprüften Fall auch kein Anlass, diesen darauf hinzuweisen, dass die andauernde arbeitgeberähnliche Stellung seinen Anspruch auf Arbeitslosenentschädigung gefährden könne.
3. Verwaltung und Vorinstanz versagten dem Beschwerdeführer den Erlass der Rückforderung, weil der gute Glaube nicht bejaht werden könne. Der Versicherte habe im Antrag auf Arbeitslosenentschädigung am 21. März 2003 die Frage "Sind bzw. waren Sie oder ihr Ehegatte/Ehegattin am Betrieb beteiligt oder in leitender Funktion (z.B. Aktionär, Verwaltungsrat einer AG oder Gesellschafter, Geschäftsführer in einer GmbH, etc.?)" verneint, obwohl er und seine Ehefrau im damaligen Zeitpunkt bei der Firma Q._ GmbH je als Gesellschafter und Geschäftsführer mit Einzelunterschrift und einer Stammeinlage von je Fr. 10'000.- im Handelsregister eingetragen waren. Diese Sachverhaltsfeststellung ist für das Eidgenössische Versicherungsgericht bindend (Erw. 1 hievor). Wenn die Vorinstanz dies nicht mehr als bloss leichtfahrlässig taxiert hat, verletzte sie kein Bundesrecht (vgl. auch <ref-ruling> Erw. 3d). Was der Beschwerdeführer hiegegen vorbringt, vermag daran nichts zu ändern. Namentlich konnte er die Frage nicht deswegen verneinen, weil er die Anstellung als Geschäftsführer verloren hatte, bezog sich die Formulierung ("...bzw. waren Sie...") doch ausdrücklich auch auf die Vergangenheit. Sodann hilft ihm nicht, dass er die Rechtslage nicht gekannt hat, denn niemand kann aus seiner Rechtsunkenntnis Vorteile für sich ableiten (<ref-ruling> Erw. 2b/aa). Für die Verneinung des guten Glaubens ist kein Vorsatz und damit auch keine betrügerische Absicht nötig. Dass die Ehefrau in der Arbeitgeberbescheinigung die gleiche Frage bejaht hat, vermindert die eigene Fahrlässigkeit des Beschwerdeführers nicht. Schliesslich ist die angebliche Falschauskunft des Sachbearbeiters nicht erstellt. Nachdem der Beschwerdeführer die erwähnte Frage verneint hatte, bestand für die Verwaltung im Unterschied zu dem im Urteil W. vom 28. Oktober 2005, C 157/05, geprüften Fall auch kein Anlass, diesen darauf hinzuweisen, dass die andauernde arbeitgeberähnliche Stellung seinen Anspruch auf Arbeitslosenentschädigung gefährden könne.
4. Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (Erw. 1 hievor), ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Staatssekretariat für Wirtschaft zugestellt.
Luzern, 2. Oktober 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: