Sachverhalt:
A. Mit Verfügung vom 29. Januar 2003 hatte die IV-Stelle des Kantons Aargau dem 1962 geborenen D._ ab 1. März 2001 eine Hilflosenentschädigung leichten Grades zugesprochen. Anlässlich der 4. IV-Revision überprüfte sie den Anspruch und stellte fest, dass dieser weiterhin bestehe. Mit Schreiben vom 11. Oktober 2005 teilte die Ausgleichskasse der Schweizer Maschinenindustrie dem Versicherten mit, sein Rentendossier werde der kantonalen Ausgleichskasse übermittelt, sie stelle ihre Zahlungen per Ende November 2005 ein und die neu zuständige kantonale Ausgleichskasse werde ihm in Zukunft nicht nur die Ergänzungsleistungen, sondern auch die IV-Rente auszahlen. Mit Verfügung vom 19. Oktober 2005 teilte die IV-Stelle D._ mit, er habe ab 1. Dezember 2005 Anspruch auf eine Hilflosenentschädigung leichten Grades in der Höhe von Fr. 430.- monatlich, und mit Verfügung vom 24. Oktober 2005 hob sie die Hilflosenentschädigung per 30. November 2005 auf, ohne jedoch die monatliche Auszahlung einzustellen. Nachdem die Ausgleichskasse dem Versicherten mit Schreiben vom 13. April 2010 eröffnet hatte, die seit 30. November 2005 unrechtmässig bezogenen Leistungen beliefen sich auf Fr. 23'038.-, und ihm Gelegenheit zur Stellungnahme eingeräumt hatte, liess D._ mitteilen, er habe die Verfügung vom 24. Oktober 2005 wohl erhalten, jedoch wegen seiner mangelnden Deutschkenntnisse nicht verstanden. Er habe bis zur Verfügung vom 13. April 2010 nichts bemerkt und nichts verheimlichen wollen. Er könne den Betrag nicht zurückbezahlen und ersuche daher um Erlass der Forderung. Mit Verfügung vom 23. April 2010 verlangte die IV-Stelle die Rückerstattung der zu Unrecht bezogenen Hilflosenentschädigung in der Höhe von Fr. 23'038.- und mit Verfügung vom 8. Juni 2010 wies sie das Gesuch um Erlass der Rückforderung mangels guten Glaubens des Versicherten ab.
B. Die dagegen erhobene Beschwerde, mit welcher D._ die Aufhebung der Verfügung vom 8. Juni 2010 und den Erlass der Rückforderung beantragen liess, hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 24. Mai 2011 teilweise gut, hob die Verfügung vom 8. Juni 2010 auf und wies die Sache zur Prüfung der grossen Härte an die IV-Stelle zurück.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des Entscheids des Versicherungsgerichts des Kantons Aargau vom 24. Mai 2011 und die Bestätigung ihrer Verfügung vom 8. Juni 2010. Des Weiteren ersucht sie um Gewährung der aufschiebenden Wirkung ihrer Beschwerde. Sie macht unter anderem geltend, D._ habe gegen die Aufhebungsverfügung vom 24. Oktober 2005 Einsprache erhoben, welche mit Entscheid vom 24. November 2005 abgewiesen worden sei, und legt neu die entsprechenden Urkunden auf.
D._ und das Versicherungsgericht des Kantons Aargau schliessen auf Abweisung der Beschwerde. Beide machen u.A. geltend, die neu eingereichten Urkunden seien nicht zu berücksichtigen. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Das kantonale Gericht hat zusammenfassend erwogen, dem Versicherten sei bei der Entgegennahme der zu Unrecht ausbezahlten Hilflosenentschädigung höchstens leichte Fahrlässigkeit vorzuwerfen, weshalb der gute Glaube nicht verneint werden könne. Es wies die Sache daher zur Abklärung der kumulativen Erlassvoraussetzung der grossen Härte an die IV-Stelle zurück.
1.1 Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient (vgl. dazu Urteil 8C_269/2009 vom 13. November 2009 E. 1.1 mit Hinweisen, in: SVR 2010 AlV Nr. 2 S. 3), um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von <ref-law> (<ref-ruling> E. 4.2 S. 481 f. mit Hinweisen). Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
1.1 Beim angefochtenen Rückweisungsentscheid handelt es sich, da das Verfahren noch nicht abgeschlossen wird und die Rückweisung auch nicht einzig der Umsetzung des oberinstanzlich Angeordneten dient (vgl. dazu Urteil 8C_269/2009 vom 13. November 2009 E. 1.1 mit Hinweisen, in: SVR 2010 AlV Nr. 2 S. 3), um einen - selbstständig eröffneten - Vor- oder Zwischenentscheid im Sinne von <ref-law> (<ref-ruling> E. 4.2 S. 481 f. mit Hinweisen). Die Zulässigkeit der Beschwerde setzt somit - alternativ - voraus, dass der Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Abs. 1 lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
1.2 1.2.1 Rechtsprechungsgemäss bewirkt ein Rückweisungsentscheid in der Regel keinen irreversiblen Nachteil im Sinne von <ref-law>, da der Rechtsuchende ihn später zusammen mit dem neu zu fällenden Endentscheid wird anfechten können (vgl. <ref-law>). Anders verhält es sich allerdings für die Verwaltung bzw. den Versicherungsträger, wenn diese durch den Rückweisungsentscheid gezwungen werden, eine ihres Erachtens rechtswidrige Verfügung zu treffen. Diesfalls kann bereits dieser Entscheid angefochten werden, ohne dass der Endentscheid abgewartet werden müsste (<ref-ruling> E. 5.2, 5.2.1-5.2.4 S. 483 ff.; Urteil 8C_269/2009 vom 13. November 2009 E. 1.2.1 mit Hinweisen, in: SVR 2010 AlV Nr. 2 S. 3).
1.2.2 Im Umstand, dass der vorinstanzliche Gerichtsentscheid materiell verbindlich die Erlassvoraussetzung des guten Glaubens bejaht, ist offenkundig ein nicht wieder gutzumachender Nachteil im Sinne des <ref-law> zu erblicken. Damit wird der Beurteilungsspielraum der Verwaltung auf die Frage beschränkt, ob eine grosse Härte vorliegt. Die IV-Stelle wird aufgrund des angefochtenen Entscheides verpflichtet, auf eine Rückforderung der Hilflosenentschädigungen zu verzichten, falls die nachfolgende Prüfung ergibt, dass die weitere Erlassvoraussetzung der grossen Härte erfüllt ist, obwohl sie die Gutgläubigkeit verneint. Dazu kommt, dass sie sich ausser Stande sähe, ihre eigene Verfügung anzufechten, und die Gegenpartei wird in der Regel kein Interesse haben, dem möglicherweise zu ihren Gunsten lautenden Endentscheid zu opponieren, sodass der kantonale Vor- oder Zwischenentscheid nicht mehr korrigiert werden könnte (Urteil 8C_269/2009 vom 13. November 2009 E. 1.2.2 mit Hinweisen, in: SVR 2010 AlV Nr. 2 S. 3). Auf die Beschwerde der IV-Stelle ist daher einzutreten.
2. 2.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
2.2 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheides liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne weiteres hätten vorgebracht werden können (nicht publizierte E. 2.3 des Urteils <ref-ruling>, in SVR 2009 BVG Nr. 30 S. 109 [9C_920/2008]).
3. Zu prüfen ist, ob dem Beschwerdegegner die Rückerstattung der seit 1. Dezember 2005 bezogenen Hilflosenentschädigung im Betrag von Fr. 23'038.- erlassen werden kann. Die Rückerstattungsverfügung vom 23. April 2010 als solche ist demgegenüber nicht angefochten worden und daher in Rechtskraft erwachsen.
3.1 Wie das kantonale Gericht zutreffend dargelegt hat, sind unrechtmässig bezogene Leistungen gemäss <ref-law> zurückzuerstatten (Satz 1); wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Satz 2). Die nach Gesetz und Rechtsprechung bei der Prüfung der Erlassvoraussetzung der Gutgläubigkeit eines Leistungsbezügers im Sinne von <ref-law> zu beachtenden Grundsätze sind im angefochtenen Entscheid richtig dargelegt worden. Darauf wird verwiesen.
3.2 Nach der Rechtsprechung ist bei der Frage nach der Gutgläubigkeit beim Leistungsbezug hinsichtlich der Überprüfungsbefugnis des Gerichts zu unterscheiden zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage von der Vorinstanz für das Bundesgericht verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223).
4. 4.1 Die Vorinstanz hat den guten Glauben des Versicherten im Wesentlichen gestützt auf die Tatsache, dass er innerhalb einer Woche zwei sich widersprechende Verfügungen erhalten hat und aufgrund mangelnder Deutschkenntnisse nicht erkennen konnte, dass ihm zu Unrecht während der folgenden fünf Jahre Hilflosenentschädigung ausgerichtet wurde, bejaht. Er habe - so das kantonale Gericht - die leistungsaufhebende Verfügung vom 24. Oktober 2005 denn auch nicht angefochten. Es sei davon auszugehen, dass er dies getan hätte, wäre er sich der Bedeutung der Verfügung bewusst gewesen. Stattdessen habe er auf die Rechtmässigkeit der Auszahlungen vertraut, was unter den genannten Umständen nicht abwegig erscheine. Da er die Tragweite des Inhalts der Aufhebungsverfügung vom 24. Oktober 2005 nicht erkannt habe, sei diese Unterlassung entschuldbar.
4.2 Das fehlende Unrechtsbewusstsein des Beschwerdegegners hat das kantonale Gericht in für das Bundesgericht verbindlicher Weise bejaht. In der Beschwerde wird sodann nichts vorgebracht, was die Bundesrechtswidrigkeit des vorinstanzlich unter Berücksichtigung der tatsächlichen Verhältnisse angewandten Sorgfaltsmassstabes und der daraus gezogenen Schlussfolgerungen zu begründen vermöchte (<ref-law>; zur Einstufung als Rechtsfrage: <ref-ruling> E. 3 S. 223; SVR 2007 EL Nr. 8 S. 19 E. 2.2, 8C_1/2007). Soweit die Beschwerdeführerin im vorliegenden Verfahren geltend macht, der Versicherte habe die Aufhebungsverfügung vom 24. Oktober 2005 sehr wohl angefochten, und neu die Einsprache vom 9. November 2005 sowie den abweisenden Einspracheentscheid vom 24. November 2005 auflegt, ist ihr entgegenzuhalten, dass die Voraussetzungen für das Vorbringen neuer Tatsachen und Beweismittel gemäss <ref-law> nicht erfüllt sind. Die erfolgte Anfechtung bzw. Nichtanfechtung der Verfügung vom 24. Oktober 2005 war für die Frage des Vorliegens des guten Glaubens bereits im vorinstanzlichen Verfahren entscheidwesentlich und die entsprechenden Tatsachen und Beweismittel wären bereits im kantonalen Verfahren vorzubringen gewesen. Keineswegs hat erst der angefochtene Entscheid Anlass dazu gegeben.
4.3 Zusammenfassend hat die Vorinstanz die Erlassvoraussetzung des guten Glaubens bejaht und die Sache zur Prüfung der grossen Härte an die Beschwerdeführerin zurückgewiesen, ohne dadurch Bundesrecht zu verletzen.
5. Das Gesuch um aufschiebende Wirkung der Beschwerde wird mit dem heutigen Urteil gegenstandslos.
6. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem Prozessausgang entsprechend der IV-Stelle auferlegt (<ref-law>); des Weiteren hat sie dem Beschwerdegegner eine Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1'200.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Dezember 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch