Sachverhalt:
A. Mit Verfügung vom 8. Oktober 2007 und Einspracheentscheid vom 6. Februar 2008 lehnte die Sozialversicherungsanstalt des Kantons St. Gallen, Ausgleichskasse, ein Gesuch von H._ um Erlass der Rückforderung eines Betrags von Fr. 58'579.-, zusammengesetzt aus bundesrechtlichen Ergänzungsleistungen von Fr. 52'222.- und auf kantonalem Recht beruhenden Zuwendungen von Fr. 6'357.-, ab. Zur Begründung wurde erklärt, es fehle an der Erlassvoraussetzung des guten Glaubens.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen ab. Auf den kantonalrechtlichen Rekurs trat es nicht ein (Entscheid vom 28. März 2008).
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben und "davon abzusehen, ordentliche und ausserordentliche Ergänzungsleistungen für den Zeitraum Januar 2004 bis November 2006 im Gesamtbetrag von Fr. 58'579.- zurückzufordern". In prozessualer Hinsicht wird beantragt, der Entscheid des Bundesgerichts sei bis zum Vorliegen des Beschwerdeentscheides des Verwaltungsgerichtes des Kantons St. Gallen auszusetzen.
Die Vorinstanz erklärt mit Schreiben vom 14. Mai 2008, sie schliesse sich dem Sistierungsbegehren des Beschwerdeführers an.
Es wurde kein Schriftenwechsel durchgeführt und es wurden keine Akten eingeholt.

Erwägungen:
1. Der Beschwerdeführer hat den Entscheid des kantonalen Versicherungsgerichts, soweit er sich auf den Erlass der Rückforderung kantonalrechtlicher Leistungen bezieht, durch Beschwerde an das Verwaltungsgericht des Kantons St. Gallen weitergezogen. Er beantragt, das vorliegende Verfahren sei bis zu dessen Entscheid zu sistieren. Das kantonale Versicherungsgericht schliesst sich in seiner Vernehmlassung diesem Antrag an.
1.1 Der Entscheid des Versicherungsgerichts des Kantons St. Gallen betrifft einerseits den Erlass der Rückforderung bundesrechtlich geregelter Ergänzungsleistungen zur AHV/IV und andererseits den Erlass der Rückforderung bedarfsabhängiger Zuwendungen, welche auf kantonalem Recht beruhen. Soweit die gestützt auf das ELG ausgerichteten Leistungen in Frage stehen, ist eine innerkantonale Weiterzugsmöglichkeit an eine zweite gerichtliche Instanz von Bundesrechts wegen ausgeschlossen (<ref-law>; Ueli Kieser, ATSG-Kommentar, Zürich 2003, S. 569, Art. 57 N 6). Gegen den Entscheid des Versicherungsgerichts ist diesbezüglich direkt die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (<ref-law>). Er gilt insoweit als Entscheid einer letzten kantonalen Instanz nach <ref-law>. Im Bereich der kantonalrechtlichen Leistungen ist dagegen laut der Rechtsmittelbelehrung im angefochtenen Entscheid ein kantonsinterner Weiterzug möglich. Insoweit ist das Versicherungsgericht somit nicht letzte kantonale Instanz im Sinne von <ref-law>, und sein Entscheid unterliegt nicht der direkten Anfechtung durch Beschwerde an das Bundesgericht.
1.2 Die beantragte Sistierung würde es ermöglichen, das vorliegende Beschwerdeverfahren mit einem allfälligen späteren über die kantonalrechtlich begründete Rückforderung zu vereinigen. In dieser Konstellation kann eine Sistierung angezeigt sein, wenn zwischen den beiden Verfahrensgegenständen ein enger innerer Zusammenhang besteht, welcher eine gemeinsame Beurteilung als geboten erscheinen lässt. So verhält es sich hier jedoch nicht: Die beiden Rückforderungsansprüche weisen zwar eine tatbestandsmässige Verbindung auf. Sie unterscheiden sich jedoch hinsichtlich der rechtlichen Grundlagen und, daraus abgeleitet, auch der dem Bundesgericht zukommenden Kognition (vgl. Art. 95 und 106 BGG). Überdies hat das Versicherungsgericht die bundesrechtliche Beschwerde abgewiesen, während auf den kantonalrechtlichen Rekurs nicht eingetreten wurde. Die Begründung der Beschwerde an das Verwaltungsgericht vom 23. April 2008 weicht denn auch wesentlich von den im vorliegenden Verfahren erhobenen Rügen ab. Der Sistierungsantrag ist daher abzuweisen.
2. Wie dargelegt, unterliegt der Entscheid des kantonalen Versicherungsgerichts nur insoweit direkt der Beschwerde in öffentlich-rechtlichen Angelegenheiten, als er den Erlass der Rückforderung bundesrechtlicher Ergänzungsleistungen betrifft. Soweit der Erlass der Rückforderung kantonalrechtlicher Leistungen in Frage steht, ist auf die Beschwerde nicht einzutreten, da kein letztinstanzlicher kantonaler Entscheid vorliegt.
3. 3.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
3.2 Gemäss den vorinstanzlichen Feststellungen bezog der Beschwerdeführer zwischen Januar 2004 und November 2006 Ergänzungsleistungen zu seiner Rente der Invalidenversicherung. Mit Verfügung vom 4. Dezember 2006 forderte die Sozialversicherungsanstalt des Kantons St. Gallen, Ausgleichskasse, den gesamten Betrag von Fr. 58'579.-, zusammengesetzt aus bundesrechtlichen Ergänzungsleistungen von Fr. 52'222.- und auf kantonalem Recht beruhenden Leistungen von Fr. 6'357.-, zurück. Daran hielt sie mit Einspracheentscheid vom 18. April 2007 fest, was das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 15. August 2007 bestätigte. Dieser Entscheid erwuchs in Rechtskraft. Das vorliegende Erlassverfahren betrifft diese Rückforderung.
4. 4.1 Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Erlass der Rückforderung zu Unrecht ausgerichteter Ergänzungsleistungen (<ref-law> und <ref-law> [anwendbar gemäss Art. 1 Abs. 1 ELG]; <ref-ruling> E. 3c S. 180 f.; vgl. auch <ref-ruling> E. 2c S. 103 mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
4.2 Die Rechtsprechung unterscheidet zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen konnte oder bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können. Während das Vorliegen oder Fehlen des Unrechtsbewusstseins zum inneren Tatbestand gehört und eine Tatfrage darstellt, welche durch das Bundesgericht nur im Rahmen von <ref-law> überprüft werden kann, gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223; SVR 2007 EL Nr. 8 S. 19 E. 2.2, 8C_1/2007).
4.3 Laut den vorinstanzlichen Erwägungen ist der Bezug zu hoher Ergänzungsleistungen nicht bösgläubig erfolgt. Damit hat das kantonale Gericht das Unrechtsbewusstsein sinngemäss verneint. Diese Feststellung ist für das Bundesgericht verbindlich.
4.4 Zu prüfen bleibt, ob dem Beschwerdeführer der gute Glaube deshalb abgesprochen werden muss, weil er die gebotene Aufmerksamkeit vermissen liess und dadurch die Ausrichtung der unrechtmässig bezogenen Leistungen erwirkt (respektive nicht verhindert) hat.
4.4.1 Der gute Glaube entfällt, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war (<ref-ruling> E. 2c S. 103). Das Mass der erforderlichen Sorgfalt beurteilt sich nach einem objektiven Massstab, wobei aber das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare nicht ausgeblendet werden darf (SVR 2008 AHV Nr. 13 S. 41 E. 4.1, 9C_14/2007). Der gute Glaube ist jedoch regelmässig zu verneinen, wenn die versicherte Person das EL-Berechnungsblatt nicht oder nur unsorgfältig kontrolliert und deshalb einen darin enthaltenen gravierenden, für sie leicht erkennbaren Fehler nicht meldet (Urteil P 62/04 vom 6. Juni 2005, E. 4.3).
4.4.2 Gemäss den verbindlichen Feststellungen des kantonalen Gerichts bezieht der Beschwerdeführer eine Rente der SUVA, die sich ab 1. Januar 2003 auf Fr. 2'211.- pro Monat belief. In der EL-Anmeldung vom November 2003 führte er diese Rente (wenn auch an einem falschen Ort) auf. Zudem reichte er einen Rentenausweis ein. Die Ausgleichskasse setzte jedoch bei der Berechnung der jährlichen Ergänzungsleistung unter den anrechenbaren Einnahmen versehentlich den monatlichen Betrag von Fr. 2'211.- an Stelle des jährlichen Betrags von Fr. 26'532.- ein. Sämtliche Positionen sowie der Ausgaben- bzw. Einnahmenüberschuss werden im Berechnungsblatt explizit und leicht erkennbar mit den Jahres- und nicht mit den Monatswerten aufgeführt. Wäre die Rente der SUVA mit dem korrekten, um über Fr. 24'000.- höheren Betrag berücksichtigt worden, hätte von Anfang an ein Einnahmenüberschuss resultiert.
4.4.3 In Würdigung dieser Umstände unter dem Aspekt des guten Glaubens bzw. der diesen ausschliessenden groben Fahrlässigkeit hat die Vorinstanz erwogen, bei der Durchsicht des Berechnungsblattes mit minimaler sachgerechter Aufmerksamkeit hätte der Beschwerdeführer erkennen können und müssen, dass die SUVA-Rente mit einem viel zu tiefen Betrag aufgeführt war, so dass er massiv überentschädigt wurde. Obwohl die Verwaltung den Fehler verursacht habe, müsse dem Beschwerdeführer der gute Glaube abgesprochen werden, "da es ihm oblegen wäre, den Fehler zu bemerken und umgehend zu melden".
4.4.4 Der Beschwerdeführer macht geltend, er habe den Fehler auf dem Berechnungsblatt nicht bemerkt. Dies könne ihm unter dem Gesichtspunkt des guten Glaubens nicht zum Vorwurf gemacht werden. Indem er seinen Melde- und Auskunftspflichten bei den jeweiligen EL-Anträgen nachgekommen sei bzw. diese zumindest nicht in grober Weise verletzt habe, könne er sich auf den guten Glauben im Sinne von <ref-law> als Voraussetzung für den Erlass der EL-Rückforderung berufen. Diese Argumentation übersieht jedoch, dass der gute Glaube regelmässig ausscheidet, wenn ein Berechnungsfehler vorliegt, welchen die versicherte Person bei Beachtung der ihr zumutbaren Aufmerksamkeit ohne weiteres hätte erkennen müssen (vgl. das bereits zitierte Urteil P 62/04 vom 6. Juni 2005, E. 4.3). Diese Konstellation liegt hier vor, denn die Bezifferung der SUVA-Rente mit dem Monatsbetreffnis von Fr. 2'211.- statt des Jahresbetrags von Fr. 26'532.- in einer Aufstellung, welche ansonsten durchwegs Jahreswerte enthält, musste der Beschwerdeführer selbst bei oberflächlicher Durchsicht der Berechnung als unzutreffend erkennen. Die Beschwerde ist daher abzuweisen.
5. Das Verfahren ist kostenpflichtig (<ref-law>). Der Erlass der Rückforderung zu Unrecht erbrachter Leistungen gilt nicht als Streitigkeit über Sozialversicherungsleistungen nach <ref-law> (Urteil 8C_594/2007 vom 10. März 2008, E. 7.2; Thomas Geiser, Basler Kommentar zum BGG, Basel 2008, S. 575, Art. 65 N 20; Seiler/von Werdt/Güngerich, Bundesgerichtsgesetz [BGG], Bern 2007, S. 223, Art. 65 N 28; vgl. <ref-ruling> E. 1 S. 136 mit Hinweisen). Deshalb gelangt der allgemeine, streitwertabhängige Tarif (<ref-law>; Tarif über die Gerichtsgebühren im Verfahren vor Bundesgericht [SR 173.110.210.1], Ziff. 1) zur Anwendung. Mit Blick auf den Streitwert und die relativ geringe Komplexität des Sachverhalts sind die Gerichtskosten auf Fr. 2'000.- festzusetzen. Dementsprechend ist dem Beschwerdeführer die Hälfte des geleisteten Kostenvorschusses von Fr. 4'000.- zurückzuerstatten.

Demnach erkennt das Bundesgericht:
1. Das Sistierungsgesuch wird abgewiesen.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Juli 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Flückiger