Sachverhalt:
A. Der 1961 geborene B._ bezieht laut Verfügung der Sozialversicherungsanstalt des Kantons St. Gallen vom 3. Februar 2005 seit 1. Januar 2004 eine Ergänzungsleistung zur Invalidenrente. Bei der erstmaligen Berechnung blieb die von der Firma X._ Vorsorgeeinrichtung laut Schreiben vom 28. Januar 2005 rückwirkend ab 1. November 2003 ausgerichtete monatliche Invalidenrente aus der beruflichen Vorsorge in der Höhe von Fr. 1'050.-, zuzüglich zweier Kinderrenten zu Fr. 210.-, unberücksichtigt. Nachdem die EL-Durchführungsstelle im Rahmen einer im April 2008 eingeleiteten periodischen Überprüfung Kenntnis von den Leistungen der Vorsorgeeinrichtung erhalten hatte, forderte sie von B._ gestützt auf eine neue Berechnung sämtliche seit 1. Januar 2004 bezahlten Ergänzungsleistungen im Gesamtbetrag von Fr. 37'672.- mit Verfügung vom 1. Dezember 2008, bestätigt mit Einspracheentscheid vom 11. Februar 2009, zurück. Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 13. Juli 2009 ab.
Ein von B._ gestelltes Gesuch um Erlass der Rückerstattung lehnte die Sozialversicherungsanstalt mit Verfügung vom 28. Oktober 2009 ab, woran sie mit Einspracheentscheid vom 22. Januar 2010 festhielt.
B. Die hiegegen erhobene Beschwerde, mit welcher B._ die Aufhebung des Einspracheentscheides und den Erlass der Rückerstattung, eventuell die Rückweisung der Sache zu ergänzenden Abklärungen an die Verwaltung, hatte beantragen lassen, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 28. September 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die vorinstanzlich gestellten Rechtsbegehren erneuern. Ferner ersucht er darum, der Beschwerde die aufschiebende Wirkung zuzuerkennen.
Die Sozialversicherungsanstalt und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. Nach <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2).
Die Rechtsprechung unterscheidet zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen konnte oder bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können. Während das Vorliegen oder Fehlen des Unrechtsbewusstseins zum inneren Tatbestand gehört und eine Tatfrage darstellt, welche das Bundesgericht nur im Rahmen von Art. 97 und 105 BGG (E. 1 hievor) überprüft, gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223; Urteil 8C_594/2007 vom 10. März 2008).
Der gute Glaube entfällt nicht nur bei wissentlichem Bezug zu Unrecht ausgerichteter Leistungen. Vielmehr darf sich der Leistungsempfänger nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube ist somit von vornherein nicht gegeben, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückgeht. Demgegenüber kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten (beispielsweise die Meldepflichtverletzung) nur eine leichte Fahrlässigkeit darstellt (<ref-ruling> E. 2c S. 103; AHI 2003 S. 161 E. 3a, I 553/01). Wie in anderen Bereichen beurteilt sich die geforderte Sorgfalt nach einem objektiven Massstab, wobei jedoch das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare (Urteilsfähigkeit, Gesundheitszustand, Bildungsgrad usw.) nicht ausgeblendet werden darf (SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05; Urteil 9C_14/2007 vom 2. Mai 2007, E. 4.1). Das Verhalten und die Kenntnisse des Vertreters sind der vertretenen Person anzurechnen (<ref-ruling> E. 3b S. 104; Urteile 8C_594/2007 vom 10. März 2008 und P 20/03 vom 12. Juni 2003).
3. Zum Vorliegen eines Unrechtsbewusstseins hat die Vorinstanz keine ausdrücklichen Feststellungen getroffen. Es besteht jedoch aufgrund der Erwägungen im angefochtenen Entscheid kein Grund zur Annahme, der Beschwerdeführer oder sein Rechtsvertreter hätten absichtlich die Ausrichtung von Ergänzungsleistungen erwirkt, auf welche kein Anspruch bestand. Der gute Glaube hängt unter diesen Umständen zunächst davon ab, dass eine grobfahrlässige Verletzung der Meldepflicht auszuschliessen ist. Von einer solchen ist auszugehen, wenn der Beschwerdeführer oder sein Vertreter nicht das Mindestmass an Aufmerksamkeit aufgewendet haben, welches von einem verständigen Menschen in der gleichen Lage und unter den gleichen Umständen verlangt werden muss (Urteil 8C_594/2007 vom 10. März 2008; vgl. SVR 2007 IV Nr. 13 S. 49 E. 4.4, I 622/05). Nebst der Verletzung der Melde- oder Auskunftspflicht kann auch die Unterlassung, sich bei der Verwaltung nach der Rechtmässigkeit einer Auszahlung zu erkundigen, der Berufung auf den guten Glauben entgegen stehen (ARV 1998 Nr. 41 S. 234). Wie das kantonale Gericht zutreffend dargelegt hat, kann von einem EL-Bezüger nicht erwartet werden, dass er die Berechnung der Verwaltung vollständig nachzuvollziehen vermag. Um sich nicht dem Vorwurf einer Sorgfaltspflichtverletzung auszusetzen, muss es genügen, dass er die den EL-Verfügungen beigelegten Berechnungsblätter im Rahmen seiner Möglichkeiten zumindest auf offensichtliche Fehler überprüft (vgl. ZAK 1989 S. 179).
4. 4.1 Die Vorinstanz führte aus, der Rechtsvertreter habe die Verwaltung am 30. November 2004 darüber in Kenntnis gesetzt, dass der Beschwerdeführer ab 1. November 2003 Anspruch auf eine Rente der Pensionskasse habe. In der Folge habe er es jedoch unterlassen, der EL-Durchführungsstelle zu melden, dass die Pensionskasse ihn bereits am 28. Januar 2005 über die Zusprechung einer Invalidenrente ab 1. November 2003 in der Höhe von Fr. 1'050.- zuzüglich zweier Kinderrenten orientiert hatte. Diese Meldepflichtverletzung sei als grobfahrlässig zu erachten. Zudem hätten der Beschwerdeführer oder sein Vertreter bei der Überprüfung des Berechnungsblattes zur EL-Verfügung vom 3. Februar 2005 ihre Sorgfaltspflicht verletzt. Die Tatsache, dass diese Verfügung nicht dem Rechtsvertreter, sondern dem Versicherten selbst eröffnet wurde, sei praxisgemäss nicht entscheidend.
4.2 Der Beschwerdeführer wendet ein, sein Rechtsvertreter habe die Sozialversicherungsanstalt auf Anfrage hin bereits mit Schreiben vom 30. November 2004 unter Beilage eines Versicherungsausweises der Vorsorgeeinrichtung darüber orientiert, dass er Anspruch auf eine Invalidenrente der Pensionskasse habe. Bei Erlass der Verfügung vom 3. Februar 2005 habe die Durchführungsstelle zwar die halbe Rente der Invalidenversicherung berücksichtigt, es aber unterlassen, die ihr vom Beschwerdeführer bereits mitgeteilte Invalidenrente der Pensionskasse ebenfalls als Einkommen anzurechnen. Eine Nachlässigkeit bei der Überprüfung habe er sich sodann nicht vorwerfen zu lassen. Aufgrund seiner Sehbehinderung sei er ausserstande gewesen, die irrtümlich ihm statt seinem Vertreter zugestellte Verfügung zu überprüfen. Entgegen der Auffassung der Vorinstanz habe der Umstand, dass die Verfügung vom 3. Februar 2005 ihm selbst zugestellt wurde, obwohl ein Vertretungsverhältnis bestand, nicht zur Folge, dass er sich an seinen Rechtsanwalt hätte wenden müssen, um nachzufragen, ob dieser die Verfügung auch erhalten habe und diese korrekt sei. Vielmehr habe er darauf vertrauen können, dass die EL-Verfügung keine Fehler aufwies, andernfalls sein Rechtsvertreter sich bei ihm gemeldet hätte.
5. 5.1 Aufgrund der verbindlichen Feststellungen des Versicherungsgerichts (E. 1 hievor) ist davon auszugehen, dass die Pensionskasse des Beschwerdeführers dem Rechtsvertreter bereits mit Schreiben vom 28. Januar 2005, unmittelbar vor Erlass der EL-Verfügung vom 3. Februar 2005, mitteilte, sie richte dem Versicherten rückwirkend ab 1. Januar 2003 eine Invalidenrente von Fr. 1'050.- monatlich zuzüglich Kinderrenten aus. Diese Tatsache meldete der Rechtsvertreter der Sozialversicherungsanstalt nicht. Dazu wäre er indessen verpflichtet gewesen, enthält doch jede EL-Verfügung den Hinweis, dass Erhöhungen des Einkommens mitgeteilt werden müssten und sich die EL-Durchführungsstelle erst kurz zuvor - mit Schreiben vom 26. November 2004 - beim Rechtsvertreter nach dem Anspruch des Beschwerdeführers auf Leistungen aus der beruflichen Vorsorge erkundigt hatte. Diese Meldepflichtverletzung ist als grobe Fahrlässigkeit des Rechtsvertreters, die sich der Beschwerdeführer anrechnen lassen muss, zu qualifizieren. Wie die Vorinstanz zutreffend darlegt, hat sich der Beschwerdeführer ebenso vorwerfen zu lassen, dass er und sein Vertreter von einer summarischen Überprüfung des EL-Berechnungsblattes abgesehen haben, welche die Unrichtigkeit der Verfügung vom 3. Februar 2005 klar hätte erkennen lassen, da unter den Einnahmen keinerlei Zahlungen seiner Vorsorgeeinrichtung figurierten.
5.2 Die in der Beschwerde erhobenen Einwendungen vermögen weder eine mangelhafte Feststellung des rechtserheblichen Sachverhalts darzutun noch sind sie geeignet, eine Verletzung von Bundesrecht zu begründen. Entgegen der Auffassung des Beschwerdeführers hat sich der vertretene Versicherte, dem eine Verfügung zugestellt wird, nach Ablauf einer gewissen, ungenutzt verstrichenen Zeitspanne bei seinem Rechtsvertreter zu vergewissern, ob diesem die nämliche Verfügung ebenfalls eröffnet wurde (Urteil C 168/00 vom 13. Februar 2001, auszugsweise publiziert in SZS 2002 S. 509; ARV 2002 Nr. 9 S. 66 E. 3 S. 68, C 196/00). Seine Überprüfungspflicht entfällt daher nicht, weil er in guten Treuen hätte annehmen dürfen, sein Rechtsvertreter habe die EL-Verfügung erhalten und kontrolliert. Dass aus einer fehlerhaften Eröffnung einer Verfügung kein Nachteil erwachsen darf, trifft zu. Indessen kann auch ein fehlerhaft eröffneter Verwaltungsakt rechtsbeständig werden, wenn er nicht innert vernünftiger Frist seit Kenntnisnahme in Frage gestellt wird (zitiertes Urteil C 168/00 vom 13. Februar 2001). Da die EL-Verfügung vom Beschwerdeführer innert nützlicher Frist nicht in Frage gestellt wurde und auch keine Rückfrage bei seinem Anwalt erfolgte, kann er aus der unterbliebenen Zustellung an den Vertreter nichts zu seinen Gunsten ableiten. Vielmehr hat er die an ihn selbst erfolgte Zustellung unter den dargelegten Umständen als rechtskonform gelten zu lassen, weshalb er sich auch die unterbliebene Kontrolle des Berechnungsblattes entgegenhalten lassen muss.
6. Mit dem Urteil in der Sache wird das Gesuch um Gewährung der aufschiebenden Wirkung gegenstandslos.
7. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Januar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer