Sachverhalt:
A. Die IV-Stelle Schwyz sprach dem 1956 geborenen D._ mit Verfügung vom 6. September 2002 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung - nebst Zusatzrenten für seine Ehefrau und die vier Kinder - ab 1. August 2001 zu. Im August 2006 leitete die Verwaltung ein Revisionsverfahren ein. U.a. holte sie in dessen Verlauf bei Dr. med. M._, Spezialarzt für Psychiatrie und Psychotherapie, die Gutachten vom 29. Januar 2006 (recte: 2007) und vom 9. Oktober 2008 ein und verpflichtete den Versicherten zu einer stationären Behandlung, die vom 1. Oktober bis 9. November 2007 in der psychiatrischen Klinik X._ erfolgte (undatierter Bericht). Anlässlich einer Abklärung vor Ort wurde eine Hilflosigkeit mittleren Grades geltend gemacht (Abklärungsbericht Hilflosigkeit IV vom 22. Januar 2009). In der Folge veranlasste die IV-Stelle eine Überwachung des Versicherten (Überwachungsberichte vom 24. Februar und 21. April 2010), worauf sie die Rentenzahlungen sistierte (Verfügung vom 2. Juni 2010) und eine Begutachtung des Versicherten durch das Institut W._ anordnete. Bevor diese durchgeführt werden konnte, erlitt der Versicherte am 5. September 2010 anlässlich einer Auseinandersetzung in einem bosnischen Kulturzentrum eine Messerstichverletzung, die eine Hospitalisierung bis zum 16. September 2010 im Spital Z._ erforderte (Austrittsbericht vom 14. September 2010) und vom 10. bis 28. Oktober 2010 eine weitere stationäre Behandlung in der psychiatrischen Klinik X._ nach sich zog (Bericht vom 10. Dezember 2010). Nach Durchführung des Vorbescheidverfahrens und namentlich gestützt auf das Gutachten des Instituts W._ vom 24. Januar 2011 hob die IV-Stelle die Verfügung vom 6. September 2002 "im Rahmen einer prozessualen Revision gemäss Art. 53 Abs. 1 ATSG" rückwirkend auf. Zudem forderte sie die "zu Unrecht erwirkten Rentenleistungen [...] gemäss Art. 25 Abs. 2 ATSG fünf Jahre rückwirkend (ab April 2006) [...], vorbehältlich einer längeren Verjährungsfrist gemäss Strafrecht", zurück (Verfügung vom 17. Juni 2011). Die Höhe des - auf den Zeitraum vom 1. April 2006 bis 31. Mai 2010 entfallenden - Rückforderungsbetrages legte sie mit Verfügung vom 22. Juni 2011 auf Fr. 140'587.- fest.
B. Die dagegen erhobenen Beschwerden des D._ wies das Verwaltungsgericht des Kantons Schwyz nach Vereinigung der Verfahren mit Entscheid vom 15. März 2012 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit folgenden Anträgen:
"1. Der vorinstanzliche Entscheid sei aufzuheben und es sei dem Versicherten ab sofort und rückwirkend ab dem Datum der Sistierung die sistierte Rente in unveränderter Höhe auszubezahlen.
2. Eventualiter sei der vorinstanzliche Entscheid aufzuheben und zur Ergänzung des Sachverhaltes, zur Neuprüfung und zur erneuten Entscheidung an die Vorinstanz bzw. an die IV-Stelle Schwyz zurückzuweisen.
3. Subeventualiter sei der vorinstanzliche Entscheid aufzuheben und dem Versicherten die Rente ab Sistierungsdatum abzuerkennen. Die Rückforderung früher ausgerichteter Rentenleistungen sei infolge Verwirkung vollumfänglich abzuweisen."
Ferner lässt er um unentgeltliche Rechtspflege ersuchen.
Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen).
2.1 2.1.1 Formell rechtskräftige Verfügungen und Einspracheentscheide müssen in Revision gezogen werden, wenn die versicherte Person oder der Versicherungsträger nach deren Erlass erhebliche neue Tatsachen entdeckt oder Beweismittel auffindet, deren Beibringung zuvor nicht möglich war (Art. 53 Abs. 1 ATSG; SR 830.1). Sie ist gestützt auf Art. 55 Abs. 1 ATSG nur innerhalb der in Art. 67 VwVG enthaltenen Fristen zulässig. Nach Abs. 1 dieser Bestimmung ist eine relative 90-tägige Frist zu beachten, die mit der Entdeckung des Revisionsgrundes zu laufen beginnt. Zudem gilt eine absolute zehnjährige Frist, deren Lauf mit der Eröffnung des Entscheides einsetzt (SVR 2012 UV Nr. 17 S. 63, 8C_434/2011 E. 3 mit Hinweisen).
Weiter kann der Versicherungsträger jederzeit auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist (Art. 53 Abs. 2 ATSG).
2.1.2 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird nach Art. 17 Abs. 1 ATSG die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben.
2.2 Stehen wie hier invalidenversicherungsrechtliche Aspekte zur Diskussion, gilt es grundsätzlich, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen. Die Herabsetzung oder Aufhebung einer Rente erfolgt in diesem Bereich daher in der Regel auf das Ende des der Zustellung der Verfügung folgenden Monats. Rückwirkend wird die Rente nur herabgesetzt oder aufgehoben, wenn die unrichtige Ausrichtung einer Leistung darauf zurückzuführen ist, dass der Bezüger sie unrechtmässig erwirkt hat oder der ihm gemäss Artikel 77 zumutbaren Meldepflicht nicht nachgekommen ist (Art. 85 Abs. 2 in Verbindung mit Art. 88bis Abs. 2 IVV [SR 831.201]; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 15 zu Art. 25 ATSG). Trifft dies zu, sind solcherart widerrechtlich bezogene Leistungen gemäss den Vorgaben von Art. 25 ATSG zurückzuerstatten.
3. In der Auffassung, dass die Observationsberichte und das Gutachten des Instituts W._ "neue erhebliche Tatsachen" aufzeigten, hat die Vorinstanz darauf gestützt festgestellt, dass der Beschwerdeführer "heute" an keiner invalidisierenden Krankheit leide und in angepasster Tätigkeit zu 100 % arbeitsfähig sei. Im Zeitpunkt der Rentenzusprache im Jahre 2002 habe er nicht an einer schweren psychischen Krankheit, sondern höchstens an einer leichten Depression gelitten, die ebenfalls nicht invalidisierend gewesen sei; er habe bereits damals ein aggravatorisches Verhalten gezeigt. Folglich hat sie die rückwirkende Rentenaufhebung im Rahmen einer prozessualen Revision (Art. 53 Abs. 1 ATSG) bestätigt.
Das kantonale Gericht hat sodann in der revisionsweisen Rentenaufhebung einen Rückkommenstitel in Bezug auf die ursprüngliche Rentenzusprache erblickt und die Rückforderung der auf den Zeitraum vom 1. April 2006 bis 31. Mai 2010 entfallenden Rentenbetreffnisse im Betrag von Fr. 140'587.- bestätigt.
4.1 4.1.1 Ein Observationsbericht bildet für sich allein keine sichere Basis für Sachverhaltsfeststellungen betreffend den Gesundheitszustand und die Arbeitsfähigkeit der versicherten Person. Er kann diesbezüglich höchstens Anhaltspunkte liefern oder Anlass zu Vermutungen geben. Sichere Kenntnis des Sachverhalts kann in dieser Hinsicht erst die ärztliche Beurteilung des Observationsmaterials liefern (vgl. BGE 8C_272/2011 vom 11. November 2011 E. 7.1 mit Hinweisen). Die relative 90-tägige Revisionsfrist (E. 2.1.1) beginnt somit grundsätzlich erst zu laufen, wenn diese ärztliche Beurteilung vorliegt.
Die Verwaltung hat die erforderlichen medizinischen Abklärungen innert angemessener Frist durchzuführen. Sie ist gehalten, die zusätzlichen medizinischen Abklärungen mit dem erforderlichen und zumutbaren Einsatz zügig voranzutreiben. Tut sie dies nicht, darf sich ihre Säumnis nicht zu ihren Gunsten und zuungunsten der versicherten Person auswirken. In einem solchen Fall ist der Beginn der relativen 90-tägigen Frist vielmehr auf den Zeitpunkt festzusetzen, in welchem die Verwaltung ihre unvollständige Kenntnis mit dem erforderlichen und zumutbaren Einsatz hätte hinreichend ergänzen können (SVR 2012 UV Nr. 17 S. 63, 8C_434/2011 E. 4.2 mit Hinweis und E. 6.2).
4.1.2 Die Ergebnisse der Observation lagen der IV-Stelle am 23. April 2010 vor. Bereits am 7. Mai 2010 kam Dr. med. N._ vom Regionalen Ärztlichen Dienst (RAD) in seiner Stellungnahme zum Schluss, dass eine schwere Depression, wie sie insbesondere Dr. med. M._ diagnostiziert hatte, auszuschliessen sei und höchstens eine solche von leichtem oder mittlerem Schweregrad vorliege. Ausserdem gewinne man "doch den Eindruck, dass hier in Untersuchungssituationen und/oder bei IV-Abklärungen schwerwiegend aggraviert" werde. Erst am 1. Juni 2010 schlug der RAD-Arzt eine "psychiatrische Begutachtung" durch das Institut W._ vor. Mit einer weiteren Verzögerung von rund zwei Wochen wurde am 14. Juni 2010 eine "interdisziplinäre Abklärung" in Auftrag gegeben. In der Folge wurde die Untersuchung auf den 13. September 2010 angesetzt, sie konnte indessen aufgrund des Vorfalls vom 5. September 2010 nicht an diesem Datum, sondern erst am 8. November 2010 durchgeführt werden. Schliesslich traf das Gutachten des Instituts W._ am 25. Februar 2011 bei der IV-Stelle ein; diese erliess die Revisionsverfügung am 17. Juni 2011.
4.1.3 Angesichts dieser Umstände ist bereits zweifelhaft, ob die Verwaltung die Revisionsfrist (E. 2.1.1) einhielt. Die Frage kann indessen offen bleiben (vgl. E. 4.3.3).
4.1.3 Angesichts dieser Umstände ist bereits zweifelhaft, ob die Verwaltung die Revisionsfrist (E. 2.1.1) einhielt. Die Frage kann indessen offen bleiben (vgl. E. 4.3.3).
4.2 4.2.1 Für die Beurteilung der Arbeits(un)fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
4.2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1.1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit. c ATSG; vgl. auch <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (E. 1.2).
4.2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1.1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit. c ATSG; vgl. auch <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (E. 1.2).
4.3 4.3.1 Was den Zeitraum seit der Ende 2009 in Auftrag gegebenen Observation anbelangt, genügt das Gutachten des Instituts W._ sowohl in Bezug auf den medizinischen Sachverhalt als auch auf die Einschätzung der Arbeitsfähigkeit den bundesrechtlichen Anforderungen (E. 4.2.1). Zwar gab der psychiatrische Experte zu bedenken, dass die "demonstrierten Beschwerden [...] mit einer schweren depressiven Störung durchaus vereinbar" seien. Er verwies indessen auf das vor und zwischen den Untersuchungen gezeigte Verhalten, den im Observations-Video festgehaltenen Zustand, die fehlende ambulante psychiatrische Behandlung sowie die fehlende Nachweisbarkeit der behaupteten Einnahme von Antidepressiva und legte somit einleuchtend dar, weshalb er keine psychiatrische Diagnose stellte, sondern von einer "weitestgehenden Inszenierung und Simulation" ausging und - abgesehen von einer vorübergehenden Einschränkung im Zusammenhang mit der Messerstichverletzung - eine volle Arbeitsfähigkeit attestierte. Weiter nahm der Gutachter nachvollziehbar Stellung zu früheren medizinischen Einschätzungen, soweit diese für den hier interessierenden Zeitraum überhaupt von Bedeutung sind. Auch die Stellungnahme des Dr. med. O._ vom 29. November 2011 vermag die Beweiskraft des Gutachten des Instituts W._ nicht zu erschüttern: Eine detaillierte(re) Wiedergabe der Vorakten würde eine Doppelspurigkeit bedeuten, zumal die IV-Stelle als Auftraggeberin über die - von den Gutachtern berücksichtigten - Unterlagen verfügte. Die Experten haben auch nicht auf die Aussage des Sohnes abgestellt, sondern diese in zulässiger Weise aus dem Überwachungsauftrag der IV-Stelle zitiert. Das Einholen fremdanamnestischer Auskünfte liegt im Ermessensspielraum der Gutachter (Urteile 9C_762/2010 vom 19. Oktober 2010 E. 3.1; 9C_482/2010 vom 21. September 2010 E. 4.1). Es ist auch nicht widersprüchlich, dass der Psychiater eine unter der Inszenierung verborgene, tatsächliche Restsymptomatik nicht gänzlich ausschloss, diese indessen als "höchstens geringgradig" betrachtete. Schliesslich lässt sich die Arbeitsfähigkeit resp. deren Einschränkung - soweit überhaupt von einem Gesundheitsschaden auszugehen ist - nicht nur am Massstab einer detaillierten Arbeitsplatzbeschreibung der bisherigen Tätigkeit schätzen, sondern auch abstrakt formulieren, wie es hier für den orthopädischen Bereich geschah. Die auf das Gutachten des Instituts W._ gestützten vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit, soweit sie den hier betrachteten Zeitraum betreffen, bleiben für das Bundesgericht verbindlich (E. 1.1).
4.3.2 In Bezug auf die Feststellungen zum Gesundheitszustand in der Zeit vor der Observation, insbesondere bei Rentenbeginn im August 2001 resp. Rentenzusprache im September 2002, bildet das im Januar 2011 erstellte Gutachten des Instituts W._ hingegen keine genügende Grundlage. Die Experten bezweifelten zwar, ob überhaupt jemals eine schwere depressive Störung resp. eine Einschränkung der Arbeitsfähigkeit aus psychischen Gründen vorlag. Sie wiesen aber auch darauf hin, dass der Verlauf "naturgemäss schwankend sei" und deshalb retrospektive psychiatrische Beurteilungen "immer mit einer zusätzlichen Unsicherheit behaftet" seien. Ihre Einschätzung erachteten sie daher selber erst ab der Observation als verlässlich. Auch der RAD-Arzt hielt eine "retrospektiv andere Beurteilung" mit dem "Beweisgrad der Sicherheit oder überwiegenden Wahrscheinlichkeit" nicht für machbar.
4.3.3 Aus den Ergebnissen der Observation lassen sich ebenfalls keine Rückschlüsse auf den früheren Gesundheitszustand resp. die Arbeitsfähigkeit ziehen (vgl. E. 4.1.1) und es fallen dafür auch keine anderen Unterlagen in Betracht. Auch in Bezug auf das frühere soziale und sonstige Verhalten ergeben sich aus der Überwachung insoweit keine stichhaltigen Folgerungen. Somit fehlt es hinsichtlich der Verfügung vom 6. September 2002 an erheblichen neuen Tatsachen oder Beweismitteln, weshalb darauf nicht auf der Grundlage einer prozessualen Revision (Art. 53 Abs. 1 ATSG) zurückgekommen werden kann. Zudem ist mangels einer entsprechenden medizinischen Basis die vorinstanzliche Sachverhaltsfeststellung betreffend den Gesundheitszustand in der Zeit vor der Observation zu korrigieren (E. 1.1 und 4.4.1).
4.4 4.4.1 Die Rentenzusprache erfolgte gemäss verbindlicher (E. 1.1) vorinstanzlicher Feststellung gestützt auf den Bericht vom 29. Januar 2002 der orthopädischen Universitätsklinik Y._, den Bericht vom 27. März 2002 der psychiatrischen Klinik X._, wo der Beschwerdeführer bereits im März und April 2002 während fünf resp. acht Tagen hospitalisiert war, sowie gestützt auf das Gutachten vom 7. Mai 2002 der Fachstelle für Sozialpsychiatrie und Psychotherapie. Aus diesen Unterlagen geht hervor, dass der Rentenanspruch in erster Linie auf der Annahme eines psychischen (Schmerz-)Leidens und einer daraus fliessenden vollständigen Arbeitsunfähigkeit beruhte. Diese Auffassung wurde bestätigt durch die Gutachten des Dr. med. M._ vom 29. Januar 2006 (recte: 2007) und vom 9. Oktober 2008 sowie durch den undatierten Bericht der psychiatrischen Klinik X._, wo der Versicherte 2007 erneut während mehr als fünf Wochen stationär behandelt wurde. In den genannten Akten finden sich keine Hinweise auf eine Aggravation oder gar Simulation. Unter diesem Umständen besteht keine Veranlassung, vom Sachverhalt, wie er der Verfügung vom 6. September 2002 zugrunde lag und vom Beschwerdeführer selber geltend gemacht wird, abzuweichen.
4.4.2 Eine zweifellose Unrichtigkeit der Rentenzusprache (vgl. E. 2.1.1) ergibt sich auch nicht unter dem Aspekt einer Rechtsverletzung: So erging namentlich die Rechtsprechung von <ref-ruling>, wonach eine invalidisierende Wirkung einer somatoformen Schmerzstörung nur ausnahmsweise in Betracht fällt, erst rund eineinhalb Jahre nach Erlass der Verfügung vom 6. September 2002, weshalb sie damals noch nicht zwingend anzuwenden war.
4.4.3 Nach dem Gesagten fällt auch eine Wiederwägung der Verfügung vom 6. September 2002 im Sinn von Art. 53 Abs. 2 ATSG nicht in Betracht.
4.5 Entsprechend den verbindlichen (E. 4.3.1) und neu getroffenen (E. 4.4.1) Feststellungen hat sich indessen der Gesundheitszustand des Versicherten spätestens seit der Überwachung erheblich verbessert. Es ist nicht ersichtlich und wird auch nicht geltend gemacht, dass bei uneingeschränkter Arbeitsfähigkeit in angepasster Tätigkeit, wie sie seither anzunehmen ist, ein rentenbegründender Invaliditätsgrad resultieren könnte. Die Rente ist somit im Rahmen einer (materiellen) Revision nach Art. 17 Abs. 1 ATSG (E. 2.1.2) aufzuheben.
4.6 Was den Zeitpunkt der Rentenaufhebung anbelangt, ist entscheidend, ob der Beschwerdeführer die Leistungen unrechtmässig erwirkte oder die ihm obliegende Meldepflicht verletzte (E. 2.2). In Bezug auf diese - mit einer Strafdrohung verbundene (Art. 70 IVG in Verbindung mit Art. 87 Abs. 1 und 5 AHVG) - Tatbestände ist kein Strafverfahren aktenkundig. Wie dargelegt, ist zudem nicht von einer ursprünglich rechtswidrigen Rentenzusprache auszugehen (vgl. E. 4.4.1); sodann betrifft die Meldepflicht nach dem Wortlaut von Art. 77 IVV zwar explizit auch eine "wesentliche Änderung des Gesundheitszustandes". Diese Bestimmung kann jedoch - auch mit Blick auf Art. 31 Abs. 1 ATSG - in guten Treuen nicht so verstanden werden, dass bei unterschiedlicher Auffassung über den Gesundheitszustand die versicherte Person verpflichtet wäre, das von ihr bestrittene Ergebnis der Begutachtung im Sinne einer Meldung an die Verwaltung vorwegzunehmen. Dies gilt jedenfalls, soweit wie hier keine Anhaltspunkte für eine Ausschöpfung der hinzugewonnenen Arbeitsfähigkeit bestehen. Nach Lage der Akten ist kein Tatbestand von Art. 88bis Abs. 2 lit. b IVV erfüllt. Die Invalidenrente ist daher im Sinne von Art. 88bis Abs. 2 lit. a IVV auf Ende Juli 2011 aufzuheben.
4.7 Nachdem die IV-Stelle ihre Rentenzahlungen ab dem 2. Juni 2010 sistierte, besteht kein Grund für eine Rückforderung. Im Gegenteil hat sie dem Versicherten die auf den Zeitraum vom 1. Juni 2010 bis 31. Juli 2011 entfallenden Betreffnisse nachzuzahlen.
5. Die Gerichtskosten sind den Parteien entsprechend dem Ausgang des Verfahrens aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdeführer hat für das bundesgerichtliche Verfahren Anspruch auf eine (reduzierte) Parteientschädigung (Art. 68 Abs. 1 BGG).
Soweit dadurch nicht gegenstandslos geworden, kann dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege entsprochen werden (Art. 64 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 2.3.1 S. 135, 128 I 225 E. 2.5.3 S. 235). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 15. März 2012 und die Verfügungen der IV-Stelle Schwyz vom 17. und 22. Juni 2011 werden aufgehoben, soweit damit über den Rentenanspruch bis 31. Juli 2011 oder über die Rückerstattung von Rentenleistungen entschieden wurde. Es wird festgestellt, dass der Beschwerdeführer Anspruch auf eine ganze Rente der Invalidenversicherung bis 31. Juli 2011 hat. Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Von den Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer Fr. 200.- und der Beschwerdegegnerin Fr. 300.- auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Gerichtskasse genommen.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'800.- zu entschädigen.
5. Rechtsanwalt Dr. iur. Patrick Sutter, Schwyz, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'000.- ausgerichtet.
6. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
7. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann