Sachverhalt:
A. Der 1961 geborene W._ bezog Ergänzungsleistungen zur Invalidenrente. Nach Eingang des Revisionsfragebogens für Bezüger von Ergänzungsleistungen setzte die Ausgleichskasse des Kantons Aargau mit Verfügung vom 9. September 2009 rückwirkend ab 1. August 2009 die Ergänzungsleistung neu fest. Mit Verfügung vom 9. Juni 2010 verpflichtete die Ausgleichskasse W._ zur Rückerstattung von in der Zeit ab Januar 2009 bis 31. Mai 2010 zu viel ausgerichteter Ergänzungsleistungen im Betrag von Fr. 10'676.-.
Mit Eingabe vom 9. August 2010 ersuchte der Versicherte um Erlass der Rückforderung. Mit Verfügung vom 13. September 2010, bestätigt mit Einspracheentscheid vom 17. November 2010, lehnte die Ausgleichskasse das Gesuch ab.
B. Mit Beschwerde liess W._ beantragen, unter Aufhebung des Einspracheentscheides sei ihm die Rückforderung von Fr. 10'676.- zu erlassen; eventuell sei die Sache zur Prüfung der grossen Härte an die Verwaltung zurückzuweisen. Mit Entscheid vom 26. April 2011 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt W._ das vorinstanzlich gestellte Rechtsbegehren um Erlass der Rückerstattung erneuern; eventuell sei die Sache an das kantonale Gericht zurückzuweisen, damit es die Voraussetzungen der grossen Härte überprüfe; ferner ersucht er um die Gewährung der aufschiebenden Wirkung.
Während die Ausgleichskasse auf Abweisung der Beschwerde und des Gesuchs um aufschiebende Wirkung schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2. 2.1 Nach <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt. Im angefochtenen Entscheid hat die Vorinstanz unter Hinweis auf die Rechtsprechung (<ref-ruling>, 110 V 176) zutreffend dargelegt, dass der Erlass der Rückforderung zu verweigern ist, wenn der Leistungsbezüger die nach den Umständen gebotene Aufmerksamkeit nicht beachtet oder seine Meldepflicht hinsichtlich Änderungen in den massgeblichen Verhältnissen in grober Weise verletzt hat, wogegen eine bloss leichte Verletzung der Sorgfalts- und Aufmerksamkeitspflicht den Begriff des guten Glaubens nicht ausschliesst.
2.2 Bei der Beurteilung des guten Glaubens als Erlassvoraussetzung unterscheidet die Rechtsprechung zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen konnte oder bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen können. Während das Vorliegen oder Fehlen des Unrechtsbewusstseins zum inneren Tatbestand gehört und eine Tatfrage darstellt, welche durch das Bundesgericht nur im Rahmen von <ref-law> (E. 1 hievor) überprüft werden kann, gilt die Frage nach der Anwendung der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223; SVR 2007 EL Nr. 8 S. 19, 8C_1/2007).
3. 3.1 Aufgrund der verbindlichen Feststellungen der Vorinstanz ist erwiesen, dass der Beschwerdeführer sich am 9. September 2009 verheiratet und die Eheschliessung der Ausgleichskasse rechtzeitig gemeldet hat. Bei der Berechnung der Ergänzungsleistung blieb diese Tatsache indessen unbeachtet. Insbesondere rechnete die Verwaltung weiterhin den Lebensbedarf für Alleinstehende an und liess die Arbeitslosenentschädigung der Ehefrau des Versicherten unberücksichtigt. Hiefür hat nicht der Beschwerdeführer einzustehen.
3.2 Es fragt sich jedoch, ob aus der korrekten Meldung der Heirat durch den Versicherten unter den gegebenen Umständen auf seinen guten Glauben und damit die Erfüllung der ersten Erlassvoraussetzung zu schliessen ist, oder ob andere Gründe gegeben sind, welche der Annahme des guten Glaubens entgegenstehen.
3.2.1 Die Vorinstanz stellt sich diesbezüglich auf den Standpunkt, der Beschwerdeführer habe die EL-Berechnungsblätter nicht mit hinreichender Sorgfalt geprüft. Andernfalls wäre ihm nicht entgangen, dass sich infolge der Heirat ab 1. September 2009 Änderungen hätten ergeben müssen. Namentlich die Höhe des Lebensbedarfs von Fr. 18'720.- sei für zwei Personen sehr tief; zudem sei die Arbeitslosenentschädigung seiner Ehegattin in der Höhe von Fr. 42'414.- unbeachtet geblieben. Diese Verletzung der Prüfungspflicht nach Erhalt der Verfügung vom 9. September 2009 schliesse den guten Glauben aus.
3.2.2 Der Beschwerdeführer vertritt demgegenüber die Auffassung, als Laie habe er nicht erkennen können, ob die EL-Berechnung für eine ledige Person oder ein Ehepaar erfolgt sei. Ebenso wenig habe er wissen können, dass bei den Einnahmen auch die von seiner Ehefrau bezogenen Taggelder der Arbeitslosenversicherung hätten berücksichtigt werden müssen. Für Fehler, die von einem Laien offensichtlich nicht erkannt werden können, habe die EL-Durchführungsstelle einzustehen.
4. 4.1 Der Vorinstanz ist beizupflichten, dass die rechtzeitige und korrekte Meldung der Heirat nicht vom Vorwurf grober Nachlässigkeit zu entlasten vermag. Dass diesbezüglich die EL-Durchführungsstelle fehlerhaft gehandelt hat, indem sie es versäumt hat, nach dem Hinweis des Versicherten auf die Hochzeit vom 9. September 2009 die Leistungen neu zu berechnen, führt entsprechend den Erwägungen des kantonalen Gerichts nicht dazu, dass der Bezug überhöhter Ergänzungsleistungen als rechtmässig betrachtet werden müsste. Eine mit zumutbarer Sorgfalt vorgenommene Prüfung des der Verfügung beigelegten EL-Berechnungsblattes hätte ganz erhebliche Unstimmigkeiten aufgezeigt. Auch ohne spezielle Kenntnisse der EL-Berechnung hätte ihm selbst als Laie dabei auffallen müssen, dass trotz Heirat keine Änderungen vorgenommen worden waren. Der Lebensbedarf betrug nunmehr für zwei Personen nach wie vor Fr. 18'720.-, und die Arbeitslosenentschädigung seiner Ehegattin im Betrag von Fr. 42'414.- hatte in der Berechnung keine Berücksichtigung gefunden.
Trotz dieser fehlerhaften Berechnung hat der Beschwerdeführer von einer Rückfrage bei der Verwaltung abgesehen, obwohl im Verfügungstext erwähnt ist, dass bei Heirat und anderen Zivilstandsänderungen Meldung zu erstatten ist; dies weist klar darauf hin, dass die Eheschliessung zu einer Neuberechnung des EL-Anspruchs führt. Wenn der Versicherte unter diesen Umständen die Ergänzungsleistungen weiterhin im Betrag, der für eine alleinstehende Person ermittelt wurde, entgegengenommen hat, hat er nicht nur in leichter Weise gegen die Sorgfaltspflicht verstossen. Die Vorinstanz hat den guten Glauben damit zu Recht verneint, ohne Bundesrecht zu verletzen.
4.2 Die in der Beschwerde vorgetragenen Einwendungen vermögen keine Bundesrechtsverletzung zu begründen. Die vorinstanzlich gestellten Anforderungen an die gebotene Aufmerksamkeit des Beschwerdeführers und die Zumutbarkeit einer Überprüfung der Berechnung halten vor Bundesrecht stand. Ob dem EL-Berechnungsblatt der Zivilstand entnommen werden kann oder nicht, ist nicht entscheidend. Massgebend und auch für einen Laien erkennbar ist die trotz Heirat nicht wesentlich veränderte Höhe des EL-Anspruchs ab September 2009 im Vergleich zu den früheren Leistungen. Dieser Umstand hätte den Beschwerdeführer ohne weiteres zu einer Rückfrage bei der kantonalen Ausgleichskasse veranlassen müssen. Ebenso konnte er aufgrund der ihm gemäss Hinweis auf die Meldepflicht auf der Rückseite der EL-Verfügung bekannten Tatsache, dass für die Berechnung sämtliche Einkommensbestandteile von Bedeutung sind, nicht davon ausgehen, dass die von seiner Ehegattin bezogene Arbeitslosenentschädigung in der Höhe von Fr. 42'414.- ohne Einfluss auf den EL-Anspruch bleiben würde.
4.3 Da der gute Glaube fehlt, erübrigt sich die Prüfung der grossen Härte als zweiter Erlassvoraussetzung.
5. Mit dem Urteil in der Sache wird das Gesuch des Beschwerdeführers um aufschiebende Wirkung gegenstandslos.
6. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'100.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer