Sachverhalt:
A. B._, geboren 1974, leidet an einem atypischen Autismus (ICD-10: F 84.1) und einer leichten Intelligenzminderung mit schwergradigen Verhaltensstörungen (ICD-10: F 70.1). Nach 1986 lebte sie in verschiedenen Heimen und psychiatrischen Kliniken sowie zwischendurch auch bei ihren Adoptiveltern. Seit 1. September 1992 bezieht sie eine ganze Invalidenrente. Im Dezember 1993 griff sie einen 7-jährigen Knaben an und würgte diesen, bis sie ihn für tot hielt; ein ähnlicher Vorfall ereignete sich am 9. Juni 1996. Am 11. Juni 1996 wurde sie ihm Rahmen eines fürsorgerischen Freiheitsentzugs in eine psychiatrische Klinik eingewiesen. Mit Beschluss vom 9. Juli 1997 errichtete die Vormundschaftsbehörde X._ für B._ eine Vormundschaft nach <ref-law>. Am 31. Juli 1997 ordnete das Strafgericht Y._ eine stationäre Massnahme im Sinne einer psychotherapeutischen Behandlung und Betreuung (aArt. 43 Ziff. 1 Abs. 1 StGB) an. Nebst den beiden Vorfällen mit den Knaben beging sie verschiedentlich Tätlichkeiten sowie Bedrohungen verbaler und schriftlicher Art gegenüber Dritten und dem sie betreuenden Personal. Die IV-Stelle bestätigte mehrmals die Ausrichtung der ganzen Invalidenrente. Mit dem ärztlichen Verlaufsbericht vom 23. Dezember 2008 erhielt die IV-Stelle Kenntnis von der stationären Massnahme nach aArt. 43 StGB. Am 6. November 2009 sistierte die IV-Stelle die Invalidenrente vorsorglich. Mit Vorbescheid desselben Datums stellte sie die Sistierung der Rente sowie die Rückforderung der in der Zeit von Dezember 2004 bis Dezember 2008 zu viel bezogenen Renten in Aussicht. Dies bestätigte sie mit Verfügung vom 19. Januar 2010 und wies darauf hin, dass der Rückerstattungsbetrag mit separater Verfügung mitgeteilt wurde. Dies geschah mit Verfügung vom 22. Januar 2010.
B. Das Verwaltungsgericht des Kantons Schwyz wies die dagegen erhobene Beschwerde mit Entscheid vom 22. Juni 2010 ab.
C. Die Amtsvormundschaft lässt für B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, der vorinstanzliche Entscheid und die Verfügung vom 22. Januar 2010 seien dahingehend abzuändern, als dass auf eine Rückforderung gänzlich verzichtet werde; eventualiter sei die Sache unter Aufhebung des vorinstanzlichen Entscheids und der Verfügung vom 22. Januar 2010 zu ergänzenden Abklärungen an die IV-Stelle zurückzuweisen.
Die IV-Stelle verzichtet unter Verweis auf den vorinstanzlichen Entscheid auf eine Stellungnahme. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.

Erwägungen:
1. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2. Die Vorinstanz hat die Bestimmungen und Grundsätze über die Rückerstattung unrechtmässig bezogener Leistungen (Art. 25 Abs. 1 und 2 ATSG) und deren Voraussetzungen, einschliesslich der Verletzung der Meldepflicht im Rahmen der Invalidenversicherung (Art. 77 in Verbindung mit <ref-law>), zutreffend dargelegt. Dies gilt insbesondere auch für die Besonderheit bei Rückerstattung unrechtmässig bezogener Leistungen der Invalidenversicherung, wonach der Erlass des Vorbescheids als fristwahrend gilt (<ref-ruling> E. 4.3.1 S. 584, 119 V 431 E. 3c S. 434); diese zur Rechtslage bis 31. Dezember 2002 ergangene Rechtsprechung gilt auch für die Zeit seit Wiedereinführung des Vorbescheidverfahrens am 1. Juli 2006 (vgl. dazu auch ULRICH MEYER, Bundesgesetz über die Invalidenversicherung, 2. Aufl. 2010, S. 406). Darauf wird verwiesen.
3. Letztinstanzlich wird die Leistungssistierung nicht mehr angefochten. Vor Bundesgericht ist auch die Unrechtmässigkeit der während der strafrechtlichen Massnahme erhaltenen Invalidenrente unbestritten. Streitig und zu prüfen sind somit einzig die Voraussetzungen der Rückforderung der für den Zeitraum vom Dezember 2004 bis Dezember 2008 ausgerichteten Invalidenrenten.
4. Die Beschwerdeführerin lässt einerseits geltend machen, die IV-Stelle habe erst in der Verfügung vom 22. Januar 2010 die Höhe des zurückzuerstattenden Betrags erstmals genannt, weshalb die Rückforderung infolge Ablaufs der relativen Verwirkungsfrist untergegangen sei. Andererseits liege keine Meldepflichtverletzung seitens der Versicherten vor, da die IV-Stelle schon lange von den Vorfällen von Dezember 1993 und Juni 1996 sowie um den stationären Klinikaufenthalt der Versicherten wusste.
5. 5.1 Es ist zutreffend, dass weder im Vorbescheid vom 6. November 2009 noch in der Verfügung vom 19. Januar 2010, sondern erst in derjenigen vom 22. Januar 2010 der zurückzuerstattende Betrag in Franken genannt wird. Die Umschreibung dessen, was zurückgefordert wird, ist zweifellos ein verfügungsbedürftiges Element (vgl. Urteil des Eidg. Versicherungsgerichts I 353/01 vom 25. Februar 2003 E. 4.1.1) des Rückforderungsentscheides. Ob dieser indessen nur unter der Voraussetzung der Bezifferung die Verwirkung verhindert, ist gesetzlich nicht ausdrücklich bestimmt (vgl. <ref-law>, <ref-law> i.V.m. <ref-law>). In Gerichtsverfahren sind die Parteien grundsätzlich zur Bezifferung ihrer Rechtsbegehren verpflichtet, soweit die Bezifferung möglich und zumutbar ist (zum Verfahren vor Bundesgericht, <ref-law>, vgl. <ref-ruling> E. 2 S. 236; vgl. auch Art. 84 f. ZPO). Bezüglich zivilrechtlicher Forderungen wird die Verjährung gemäss <ref-law> unter anderem durch Klage vor einem Gericht unterbrochen, wozu auch die Adhäsionsklage im Strafprozess gehört, wenn sie mit der erforderlichen Bestimmtheit erhoben wird. Nach der Rechtsprechung ist hiezu erforderlich, dass die geschädigte Person den Schadenersatzanspruch beziffert oder die Feststellung der rechtlichen Grundlagen ihres Ersatzanspruchs begehrt, denn die schädigende Person hat ein schützenswertes Interesse, die Art und Höhe der gegen sie gestellten Forderungen zu kennen (Urteil 5C.184/2006 des Bundesgerichts vom 9. Januar 2007 E. 3 mit Hinweis auf <ref-ruling> E. 2 S. 78). Im Rahmen der analogen Anwendung von <ref-law>, der vor Inkrafttreten des ATSG eine einjährige Verwirkungsfrist für Rückforderungsansprüche statuierte, erklärte das Eidgenössische Versicherungsgericht ebenfalls den Grundsatz anwendbar, dass eine auf Geldzahlung gerichtete Klage zu beziffern ist. Davon konnte aber abgesehen werden in einem Rückforderungsprozess eines Krankenversicherers gegen einen Arzt wegen unwirtschaftlicher Behandlung, da erst aufgrund des Beweisverfahrens die rechnerische Bestimmung des eingeklagten Anspruchs möglich ist. Die Bezifferung der Rückforderung wurde für die Hemmung des Eintritts der Verwirkung deshalb nicht als notwendig erachtet (Urteil des Eidgenössischen Versicherungsgerichts K 9/00 vom 24. April 2003 E. 2.2.2, in: RKUV 2003 Nr. KV 250 S. 216, SVR 2003 KV Nr. 26 S. 97).
Vorliegend wäre der IV-Stelle die Bezifferung der Rückforderung ohne weiteres möglich und zumutbar gewesen. Es ist indessen Folgendes zu beachten: Wird einer versicherten Person eine Rente zugesprochen und beantragt sie beschwerdeweise die Zusprechung einer höheren Rente, z. B. anstelle einer zugesprochenen Viertelsrente eine ganze Rente, genügt es - auch vor Bundesgericht -, wenn sie die Zusprechung dieser höheren Rente beantragt, auch wenn es ihr ohne weiteres möglich wäre, die höhere Rente zu beziffern. Indem hier sowohl im Vorbescheid als auch in der Verfügung vom 19. Januar 2010 festgehalten wurde, dass die von Dezember 2004 bis Dezember 2008 zu viel bezogenen Invalidenrenten zurückzubezahlen sind, wobei aus der Verfügungsbegründung klar ersichtlich war, dass die bezogenen Renten vollumfänglich zurückgefordert wurden, hat die Verwaltung die Rückforderung ausreichend präzis umschrieben.
5.2 Es ist unbestritten, dass die IV-Stelle über die Vorfälle vom Dezember 1993 und vom Juni 1996 informiert wurde. Auch waren der IV-Stelle die jeweiligen stationären Aufenthalte der Versicherten bekannt. Insofern geht es nicht um eine offensichtlich unrichtige Feststellung des Sachverhalts im Sinne von Art. 97 Abs. 1 resp. <ref-law>, sondern um die rechtliche Würdigung des an sich unbestrittenen Sachverhalts, indem zu prüfen ist, ob dieser den Tatbestand der Meldepflichtverletzung erfüllt.
Wie die Vorinstanz zutreffend festhält, enthält der ärztliche Zwischenbericht vom 23. Dezember 2008 erstmals den Hinweis auf die Unterbringung der Versicherten in einer psychiatrischen Klinik im Rahmen einer strafrechtlichen Massnahme. Aus dem Bericht des einweisenden Dr. med. S._ vom 4. Oktober 1996 ergibt sich bloss, dass die Einweisung im Rahmen eines fürsorgerischen Freiheitsentzugs (FFE) erfolgte. Dies stellt aber keine Massnahme nach StGB dar. Auch dem Schreiben des Adoptivvaters vom 7. September 1996, den vom Amtsvormund ausgefüllten Fragebogen für Rentenrevision vom 22. November 1999, 9. Januar 2003 und 12. Dezember 2008 oder den Berichten der Psychiatrischen Klinik L._ vom 13. Dezember 1999 und des Dr. med. I._, Facharzt für Allgemeine Medizin, vom 20. Januar 2003 lassen sich keine Hinweise auf eine angeordnete strafrechtliche Massnahme entnehmen. Allein der Umstand, dass im Rahmen der Bestellung eines Vormundes darauf hingewiesen wird, dass ein strafrechtliches Verfahren läuft, lässt noch nicht auf die Anordnung einer stationären Massnahme oder einer Haftstrafe schliessen. Vielmehr wäre es gerade die Pflicht des Amtsvormundes gewesen, den Abschluss und das Ergebnis des strafrechtlichen Verfahrens der IV-Stelle mitzuteilen. So hat die IV-Stelle in ihrem Schreiben vom 21. März 2003 an den Amtsvormund bezüglich der Meldepflicht explizit den Straf- und Massnahmenvollzug als zu meldenden Tatbestand festgehalten. Demnach kann nicht gesagt werden, die IV-Stelle hätte unter diesen Umständen Kenntnis vom Massnahmenvollzug haben müssen.
5.3 Zusammenfassend ergibt sich, dass die Rückforderung weder verwirkt ist noch infolge zumutbarer Kenntnis der IV-Stelle keine Meldepflichtverletzung vorliegt.
6. Das Verfahren ist kostenpflichtig. Die unterliegende Beschwerdeführerin hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Februar 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold