Sachverhalt: Mit Verfügung vom 5. April 2005 lehnte das Amt für Arbeit St. Gallen das Gesuch des E._ (geb. 1942) um Erlass einer Rückzahlung von bereits ausgerichteten Arbeitslosenentschädigungen im Ausmass von Fr. 28'016.50 ab. Daran hielt das Amt mit Einspracheentscheid vom 8. Juni 2005 fest. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 2. März 2006 ab. E._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, die Rückforderung sei zu erlassen. Das Amt für Arbeit schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Staatssekretariat für Wirtschaft (seco) auf eine Vernehmlassung verzichtet.