Sachverhalt: A. Der 1961 geborene W._ bezog Ergänzungsleistungen zur Invalidenrente. Nach Eingang des Revisionsfragebogens für Bezüger von Ergänzungsleistungen setzte die Ausgleichskasse des Kantons Aargau mit Verfügung vom 9. September 2009 rückwirkend ab 1. August 2009 die Ergänzungsleistung neu fest. Mit Verfügung vom 9. Juni 2010 verpflichtete die Ausgleichskasse W._ zur Rückerstattung von in der Zeit ab Januar 2009 bis 31. Mai 2010 zu viel ausgerichteter Ergänzungsleistungen im Betrag von Fr. 10'676.-. Mit Eingabe vom 9. August 2010 ersuchte der Versicherte um Erlass der Rückforderung. Mit Verfügung vom 13. September 2010, bestätigt mit Einspracheentscheid vom 17. November 2010, lehnte die Ausgleichskasse das Gesuch ab. B. Mit Beschwerde liess W._ beantragen, unter Aufhebung des Einspracheentscheides sei ihm die Rückforderung von Fr. 10'676.- zu erlassen; eventuell sei die Sache zur Prüfung der grossen Härte an die Verwaltung zurückzuweisen. Mit Entscheid vom 26. April 2011 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt W._ das vorinstanzlich gestellte Rechtsbegehren um Erlass der Rückerstattung erneuern; eventuell sei die Sache an das kantonale Gericht zurückzuweisen, damit es die Voraussetzungen der grossen Härte überprüfe; ferner ersucht er um die Gewährung der aufschiebenden Wirkung. Während die Ausgleichskasse auf Abweisung der Beschwerde und des Gesuchs um aufschiebende Wirkung schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.