Sachverhalt:
A.
Der 1935 geborene L._ meldete sich am 21. September 2004 zum Bezug von Ergänzungsleistungen zur Altersrente an. Auf dem Fragebogen erklärte er, keine BVG-Rente zu beziehen, jedoch im Juni 2000 eine Kapitalauszahlung von Fr. 100'000.- erhalten zu haben. Auf Nachfrage der Durchführungsstelle reichte L._ dieser eine Aufstellung ein, laut welcher er seit 30. Juni 2000 eine Altersrente aus der beruflichen Vorsorge in der Höhe von Fr. 7'136.- im Jahr (Fr. 594.- im Monat) bezieht. Mit Verfügung vom 6. Dezember 2004 sprach die EL-Durchführungsstelle L._ ab 1. Oktober 2004 eine Ergänzungsleistung von monatlich Fr. 444.- zu. Gemäss Berechnungsblatt war die Altersrente nach BVG nicht unter den Einnahmen aufgeführt. In der Folge wurde die Ergänzungsleistung für die jeweiligen Kalenderjahre neu festgesetzt, wobei die BVG-Rente ausser Acht gelassen wurde. Auf Aufforderung hin reichte der Versicherte der Durchführungsstelle im Rahmen der Überprüfung des Anspruchs am 1. April 2011 (Eingangsdatum) das entsprechende Formular ein, worin die bezogene BVG-Rente mit Fr. 7'128.- im Jahr beziffert wurde. Mit Verfügung vom 30. November 2011 setzte die EL-Durchführungsstelle den EL-Anspruch rückwirkend ab 1. Dezember 2006 neu fest; dabei bezog sie nunmehr die BVG-Altersrente von Fr. 594.- im Monat in die Berechnung mit ein, was zu einer Reduktion der jährlichen Ergänzungsleistung führte. Gleichzeitig forderte sie von L._ die vom 1. Dezember 2006 bis 30. November 2011 zuviel ausgerichtete Ergänzungsleistung im Gesamtbetrag von Fr. 32'810.- zurück. Das vom Versicherten am 19. Dezember 2011 gestellte Gesuch um Erlass der Rückforderung lehnte die Durchführungsstelle mit Verfügung vom 17. Januar 2012 ab, woran sie mit Einspracheentscheid vom 4. Mai 2012 festhielt.
B.
Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 19. April 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt L._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm die Rückerstattung der zuviel bezogenen Ergänzungsleistungen zu erlassen; eventuell sei die Sache zu neuer Beurteilung an das kantonale Gericht zurückzuweisen. Ferner ersucht er um die Bewilligung der unentgeltlichen Rechtspflege.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Das kantonale Gericht hat die Bestimmungen über den Erlass der Rückforderung zu Unrecht ausgerichteter Ergänzungsleistungen (<ref-law> und <ref-law> [anwendbar gemäss Art. 1 Abs. 1 ELG]) sowie die zu den vorher gültig gewesenen Normen (Art. 27 Abs. 1 ELV in Verbindung mit <ref-law> und <ref-law>, jeweils in den bis Ende 2002 gültig gewesenen Fassungen) ergangene Rechtsprechung (<ref-ruling> E. 3 S. 180 f., 102 V 245; siehe auch <ref-ruling> E. 2c S. 103 mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen. Richtig ist insbesondere, dass der für einen Erlass vorausgesetzte gute Glaube zu verneinen ist, wenn sich die Leistungen beziehende Person einer groben Nachlässigkeit schuldig gemacht hat (Urteil 8C_1/2007 vom 11. Mai 2007, SVR 2007 EL Nr. 8 S. 19).
2.2. Die Rechtsprechung unterscheidet zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen konnte oder bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können. Während das Vorliegen oder Fehlen des Unrechtsbewusstseins zum inneren Tatbestand gehört und eine Tatfrage darstellt, welche durch das Bundesgericht nur im Rahmen von <ref-law> (E. 1 hievor) überprüft werden kann, gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223).
3.
3.1. Die Vorinstanz lehnte den Erlass der Rückforderung von Fr. 32'810.- gemäss Verfügung vom 30. November 2011 ab, weil sie dem Beschwerdeführer den guten Glauben beim Bezug der Ergänzungsleistung nicht zuerkannte. Sie warf ihm vor, bei der Anmeldung seine Meldepflicht missachtet zu haben. Sodann wäre er laut Erwägungen des kantonalen Gerichts verpflichtet gewesen, die leistungszusprechenden Verfügungen im Rahmen seiner Möglich-keiten zu kontrollieren und allfällige Ungereimtheiten zu melden. Dass die Altersrente aus beruflicher Vorsorge in der Höhe von jährlich Fr. 7'128.- nicht angerechnet wurde, hätte ihm bei zumutbarer Prüfung der Berechnungsblätter auffallen müssen. Zufolge Verletzung der Sorgfaltspflicht sei der gute Glaube zu verneinen. Der Umstand, dass die Durchführungsstelle die ihr bekannt gegebene BVG-Rente unberücksichtigt gelassen hat, sei nicht entscheidend; massgeblich sei einzig das Verhalten des Rückerstattungspflichtigen.
3.2. Der Beschwerdeführer weist darauf hin, dass er bei der Anmeldung zum EL-Bezug alle erforderlichen Angaben gemacht habe. Die Beschwerdegegnerin habe vor Erlass der ersten Verfügung Kenntnis von der BVG-Rente gehabt. Eine Meldepflichtverletzung sei damit nicht gegeben. Das vorinstanzlich als korrekt bestätigte Verhalten der Durchführungsstelle sei rechtsmissbräuchlich und überspitzt formalistisch. Schliesslich habe die Vorinstanz seinen Anspruch auf rechtliches Gehör verletzt, indem sie sich nicht inhaltlich mit dem von ihm zitierten Entscheid SVR 1996 AHV Nr. 102 auseinandergesetzt habe.
4.
4.1. Die Vorinstanz hat die Frage nach dem Unrechtsbewusstsein des Beschwerdeführers nicht ausdrücklich beantwortet. Insoweit fehlt es an einer verbindlichen Sachverhaltsfeststellung. Aufgrund der Akten besteht kein Anlass, von einem Unrechtsbewusstsein des Versicherten auszugehen, hat er doch noch vor Erlass der ersten Verfügung der Verwaltung den Bezug der Pensionskassenrente angezeigt. Näher zu prüfen ist, ob er sich auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können, wie die Vorinstanz angenommen hat.
4.2. Unter den gegebenen Umständen kann nicht von einer eigentlichen Meldepflichtverletzung gesprochen werden, hat der Beschwerdeführer doch auf Rückfrage der Durchführungsstelle den BVG-Rentenausweis geschickt, worauf diese die Ergänzungsleistung gleichwohl ohne Einbezug der Altersrente der Pensionskasse berechnete und ausrichtete. Fraglich ist indessen, ob vom EL-Bezüger eine sorgfältige Kontrolle verlangt werden kann und er deshalb hätte realisieren und melden müssen, dass auf dem Berechnungsblatt unter der Rubrik "Einnahmen" die Pensionskassenrente nicht aufgeführt ist.
4.3.
4.3.1. In einem vergleichbaren Fall hat das Eidgenössische Versicherungsgericht mit Bezug auf den Erlass der Rückerstattung zu Unrecht bezogener Schlechtwetterentschädigung im Urteil C 136/98 vom 24. März 1999 erkannt, die Unternehmung hätte in Anwendung eines Mindestmasses an Aufmerksamkeit ohne weiteres erkennen können und müssen, dass sie als Temporärunternehmen keinen Anspruch auf Schlechtwetterentschädigung hatte. Die Hinweise auf den Formularen und dem einschlägigen Merkblatt seien klar und unmissverständlich gewesen. Daraus habe sich die Pflicht ergeben, sich bei der Verwaltung nach der Rechtmässigkeit der ausbezahlten Entschädigung zu erkundigen. Dass selbst die Verwaltung diesen offensichtlichen Mangel nicht erkannte, änderte nichts, vermag doch ein solcher Fehler die anfänglich fehlende Gutgläubigkeit in Folge des leicht erkennbaren Rechtsmangels nicht wiederherzustellen.
4.3.2. Im Urteil C 257/97 vom 23. Dezember 1997 (ARV 1998 Nr. 41 S. 234) hat das Eidgenössische Versicherungsgericht des Weiteren festgestellt, die Kurzarbeitsentschädigung beziehende Firma hätte erkennen müssen, dass für ihr Verwaltungsratsmitglied kein Anspruch auf Kurzarbeitsentschädigung besteht. Daraus ergebe sich die Pflicht, sich bei der Verwaltung nach der Rechtmässigkeit der Auszahlung zu erkundigen. Diese Unterlassung qualifizierte das Gericht nicht als leichte Nachlässigkeit, weshalb es den guten Glauben verneinte.
4.3.3. Im Urteil K 64/88 vom 13. November 1989 (RKUV 1990 Nr. K 831 S. 17) betreffend Aufnahme in eine Krankenkasse verwies das Eidgenössische Versicherungsgericht sodann im Zusammenhang mit einem Fehler, der sich bei der Niederschrift der vom Aufnahmebewerber mündlich erteilten Auskünfte durch eine Drittperson eingestellt hatte, auf die nach den Umständen gebotene Wahrheits- und Sorgfaltspflicht.
4.3.4. In <ref-ruling> E. 10 S. 226 schliesslich hat das Bundesgericht im Fall der Wiederverheiratung eines verwitweten Mannes erkannt, dass man selbst bei seinerzeit erfolgter Meldung dieser Zivilstandsänderung als Wiederverheirateter nicht gutgläubig über Jahre hinweg weiterhin eine Witwerrente beziehen kann, ohne bei der Ausgleichskasse je nachgefragt zu haben, ob die Anzeige der neuerlichen Eheschliessung eingegangen und die Weiterausrichtung der Rente tatsächlich rechtens sei. Für jedermann ist einsichtig, dass der neue Zivilstand den alten ersetzt, an welchen der Bezug der Witwerrente gebunden war.
4.4. Mit Blick auf diese Fälle, welchen vergleichbare Sachverhalte zugrunde liegen, kann dem Beschwerdeführer der Vorwurf nicht erspart bleiben, dass er die jeweiligen EL-Berechnungsblätter nicht sorgfältig genug überprüft hat. Hätte er die Berechnung genauer kontrolliert, wäre ihm der offensichtliche Irrtum der Verwaltung nicht entgangen. Diesen hätte er alsdann der Durchführungsstelle melden müssen. Von einer lediglich leichten Nachlässigkeit des Versicherten, die der Annahme des guten Glaubens nicht entgegenstünde, kann nicht gesprochen werden. Anders als in dem in der Beschwerde zitierten, in SVR 1996 AHV Nr. 102 S. 313 publizierten Entscheid eines kantonalen Gerichts ging es im vorliegenden Fall nicht um eine (ausländische) Altersrente in geringer Höhe, welche die versicherte Person angezeigt hatte, die aber von der Amtsstelle in der Folge nicht angerechnet wurde. Vielmehr stand im hier zu beurteilenden Fall eine Altersrente der Pensionskasse in der Höhe von Fr. 7'128.- im Jahr zur Diskussion; schon aus diesem Grund sind die beiden Fälle nicht vergleichbar. Denn beim Bezug einer lediglich geringfügig zu hohen Ergänzungsleistung sind hinsichtlich Kontrolle der Abrechnungen an die gebotene Aufmerksamkeit und die Pflicht, den Fehler zu melden, weniger strenge Anforderungen zu stellen als bei der Entgegennahme einer Leistung, die jeden Monat mehrere Hundert Franken zu hoch ausfällt, was ohne weiteres bemerkt werden müsste. Dass die Vorinstanz den kantonalen Gerichtsentscheid anders auslegt als der Versicherte und nicht darauf hingewiesen hat, die vor Inkrafttreten des ATSG ergangene Rechtsprechung gelte ab 1. Januar 2003 weiterhin, vermag die Behauptung des Beschwerdeführers, das kantonale Gericht habe seinen Anspruch auf rechtliches Gehör verletzt, in keiner Weise zu begründen.
4.5. Mangels Anwendung der zumutbaren Aufmerksamkeit kann dem Beschwerdeführer der gute Glaube nicht zugebilligt werden, woran die weiteren Vorbringen in der Beschwerde nichts ändern: Die Vorinstanz hat ebenso wenig wie die EL-Durchführungsstelle rechtsmissbräuchlich oder überspitzt formalistisch gehandelt. Vielmehr hält sich der angefochtene Entscheid an die geltende Rechtsprechung, wenn darin die mangelnde Aufmerksamkeit des Versicherten bei der Überprüfung der EL-Berechnungsblätter als Grund, der den guten Glauben ausschliesst, bezeichnet wird. Nicht zu beanstanden ist schliesslich auch die vorinstanzliche Feststellung, dass der Fehler der Verwaltung die mangelnde Gutgläubigkeit nicht herzustellen vermag.
5.
Dem Gesuch um unentgeltliche Prozessführung und Verbeiständung ist stattzugeben, da die gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Der Beschwerdeführer wird jedoch auf <ref-law> hingewiesen. Danach hat die Partei der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen, und es wird dem Beschwerdeführer Rechtsanwalt Dominik Sennhauser als Rechtsbeistand beigegeben.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Rechtsanwalt Dominik Sennhauser wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. September 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Widmer