Sachverhalt: A. Der 1961 geborene B._ bezieht laut Verfügung der Sozialversicherungsanstalt des Kantons St. Gallen vom 3. Februar 2005 seit 1. Januar 2004 eine Ergänzungsleistung zur Invalidenrente. Bei der erstmaligen Berechnung blieb die von der Firma X._ Vorsorgeeinrichtung laut Schreiben vom 28. Januar 2005 rückwirkend ab 1. November 2003 ausgerichtete monatliche Invalidenrente aus der beruflichen Vorsorge in der Höhe von Fr. 1'050.-, zuzüglich zweier Kinderrenten zu Fr. 210.-, unberücksichtigt. Nachdem die EL-Durchführungsstelle im Rahmen einer im April 2008 eingeleiteten periodischen Überprüfung Kenntnis von den Leistungen der Vorsorgeeinrichtung erhalten hatte, forderte sie von B._ gestützt auf eine neue Berechnung sämtliche seit 1. Januar 2004 bezahlten Ergänzungsleistungen im Gesamtbetrag von Fr. 37'672.- mit Verfügung vom 1. Dezember 2008, bestätigt mit Einspracheentscheid vom 11. Februar 2009, zurück. Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 13. Juli 2009 ab. Ein von B._ gestelltes Gesuch um Erlass der Rückerstattung lehnte die Sozialversicherungsanstalt mit Verfügung vom 28. Oktober 2009 ab, woran sie mit Einspracheentscheid vom 22. Januar 2010 festhielt. B. Die hiegegen erhobene Beschwerde, mit welcher B._ die Aufhebung des Einspracheentscheides und den Erlass der Rückerstattung, eventuell die Rückweisung der Sache zu ergänzenden Abklärungen an die Verwaltung, hatte beantragen lassen, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 28. September 2010 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die vorinstanzlich gestellten Rechtsbegehren erneuern. Ferner ersucht er darum, der Beschwerde die aufschiebende Wirkung zuzuerkennen. Die Sozialversicherungsanstalt und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.