Sachverhalt:
A. Mit Verfügung vom 5. September 2003 sprach die IV-Stelle Schwyz dem bis zu einem Unfall am 22. November 1999 als Vorarbeiter beim Tiefbauamt der Stadt X._ tätig gewesenen Z._, geboren 1946, ab 1. November 2000 bei einem Invaliditätsgrad von 64 % eine halbe Rente nebst Kinderrenten zu. Sie hatte zuvor ein Gutachten der Medizinischen Abklärungsstelle (MEDAS vom 31. März 2003) eingeholt, welches zum Ergebnis kam, Z._ sei aus rheumatologischen Gründen in der angestammten Tätigkeit als Strassenbau-Vorarbeiter zu 100 % arbeitsunfähig, für körperlich leichte, wechselbelastende Beschäftigungen ohne Überkopfarbeiten und kraftaufwändige repetitive Tätigkeiten mit dem rechten Arm zu 50 %. Am 7. Mai 2004 verfügte die IV-Stelle den Anspruch auf eine Dreiviertelsrente ab 1. Januar 2004. Nachdem sie Kenntnis davon erhielt, dass Z._ auf einer Baustelle gearbeitet hatte, verfügte sie am 14. November 2007 bei einem Invaliditätsgrad von 34 % die Aufhebung der Rente rückwirkend auf den 30. September 2006.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Mai 2008 ab.
C. Z._ liess Beschwerde in öffentlich-rechtlichen Angelegenheiten einreichen und beantragen, es sei ihm weiterhin mindestens eine Dreiviertelsrente zuzusprechen; eventualiter sei die Sache zur Ergänzung und Neubeurteilung an die Vorinstanz zurückzuweisen; der Beschwerde sei die aufschiebende Wirkung zu erteilen.
D. Der Beschwerdeführer verstarb am 15. Juli 2008, weshalb das Verfahren mit Verfügung vom 22. August 2008 sistiert wurde (<ref-law> i.V.m. <ref-law>). Am 5. März 2009 teilte der Rechtsvertreter des Verstorbenen den Eintritt der Erben in das Verfahren mit, worauf am 12. März 2009 die Fortsetzung des Prozesses verfügt wurde.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das kantonale Gericht hat richtig erkannt, dass die revisionsweise Anpassung der Invalidenrente nach <ref-law> Tatsachenänderungen (des Gesundheitszustandes, der Arbeits- und Erwerbsunfähigkeit usw.) im massgeblichen Vergleichszeitraum (<ref-ruling>) voraussetzt und nach <ref-law> der Versicherungsträger auf formell rechtskräftige Verfügungen zurückkommen kann, wenn diese zweifellos unrichtig sind und ihre Berichtigung von erheblicher Bedeutung ist.
3. Streitig ist die Aufhebung der seit November 2000 ausgerichteten Invalidenrente auf den 30. September 2006.
4. Für die Vorinstanz ist erwiesen, dass die Gewährung der Dreiviertelsrente für den Zeitraum ab 30. September 2006 zweifellos unrichtig und die Berichtigung der Verfügung durch die Verwaltung von erheblicher Bedeutung war. Der Versicherte habe durch die Arbeit während der Monate September 2006 bis Januar 2007 den Tatbeweis erbracht, dass die ursprüngliche Arbeitsfähigkeitsschätzung von 50 % für leichte Tätigkeiten offenkundig unrichtig gewesen sei. Es sei bei der konkreten Sachlage nicht zu beanstanden, dass die Verwaltung auf die nachträglich bekannt gewordenen ganztätigen Arbeitseinsätze für eine Bauunternehmung auf eine 100-prozentige Arbeitsfähigkeit für geeignete, leichte und wechselbelastende Tätigkeiten geschlossen habe, ohne eine neue medizinische Begutachtung zu veranlassen. Der Versicherte habe über Wochen ganztätig Aufsichts- und Kontrollarbeiten auf einer Baustelle (mit u.a. auch Heben und Tragen von Gegenständen) ausüben können, und diese nicht etwa wegen gesundheitlicher Probleme beendet, sondern wegen seiner Abreise in das Land Y._; deshalb seien ihm a fortiori leichte und wechselbelastende Tätigkeiten zu 100 Prozent zumutbar.
5. 5.1 Es wird gerügt, die Vorinstanz habe den Gesundheitszustand unrichtig und willkürlich festgestellt, denn er habe sich seit dem Unfall nicht verbessert. Der Einwand ist nicht relevant. Der Hausarzt Dr. med. K._, Facharzt FMH für Innere Medizin, hat in dem vorinstanzlich eingelegten Zeugnis vom 3. Dezember 2007 zwar bestätigt, der Gesundheitszustand des Patienten sei innerhalb der letzten acht Jahre von gleich bleibender Intensität gewesen. Daraus hat er den Schluss gezogen, dass auch die Arbeitsunfähigkeit konstant geblieben sei. Über Art und Ausmass der Arbeitsfähigkeit jedoch ist damit nichts gesagt. Genauso kann aus der Aussage gefolgert werden, der Versicherte sei seit dem Unfall gesundheitlich in der Lage gewesen, körperlich leichte und wechselbelastende Tätigkeiten zu verrichten, wie er sie zwischen September 2006 und Januar 2007 unbestrittenermassen erledigt hat.
5.2 Der im Rahmen der antizipierten Beweiswürdigung gezogene Schluss, zusätzliche medizinische Abklärungen würden keine neuen Erkenntnisse bringen, war nach damaligem und heutigem Aktenstand ohne Weiteres zulässig. Der Vorwurf einer offensichtlich unrichtigen, unvollständigen oder auf einer Rechtsverletzung beruhendenden Sachverhaltsfeststellung ist unbegründet. Insbesondere ist nicht dargetan, was die erneute Befragung von Vertretern der temporären Arbeitgeberin - der Verwaltung sind die üblichen Angaben vollständig gemacht worden - Anderes ergeben könnte als eine Bestätigung der vom Versicherten eingestandenen Tatsache, dass er über mehrere Monate eine körperlich leichte, mit einem täglich 3-stündigen Arbeitsweg verbundene Tätigkeit mehrheitlich vollzeitlich verrichtet hat und damit in fünf Monaten ein Zusatzeinkommen von rund Fr. 20'000.- erzielen konnte.
6. Dem Ausgang des Verfahrens entsprechend haben die Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden den Beschwerdeführern unter solidarischer Haftbarkeit und intern je zu einem Fünftel auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Diese Verfügung wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. April 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz