Sachverhalt:
A. Der 1959 geborene G._ war zuletzt ab 1994 als Hilfsarbeiter in der Firma E._ AG tätig. Im Februar 2002 meldete er sich unter Hinweis auf Beschwerden nach einem im April 2001 erlittenen Verkehrsunfall bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen sprach ihm die IV-Stelle Schwyz mit Verfügung vom 14. April 2003 rückwirkend ab 1. April 2002 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente nebst Zusatzrente für die Ehefrau und vier Kinderrenten zu. Im Rahmen der 5. IV-Revision wurde die Zusatzrente - bei gleich bleibendem Invaliditätsgrad der Grundrente - auf den 1. Januar 2008 aufgehoben.
Im Mai 2008 leitete die IV-Stelle ein Revisionsverfahren ein. Sie holte einen Verlaufsbericht des Hausarztes vom 27. Mai 2008 und ein polydisziplinäres MEDAS-Gutachten vom 10. Juni 2009 ein. Mit Verfügung vom 21. Oktober 2009 hob die Verwaltung die laufende Rente revisionsweise auf den 30. November 2009 auf. Sie begründete dies mit einer erheblichen Verbesserung des Gesundheitszustandes.
B. G._ erhob Beschwerde, welche das Verwaltungsgericht des Kantons Schwyz abwies, soweit es darauf eintrat (Entscheid vom 8. April 2010).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt G._ beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle anzuweisen, ab 1. Dezember 2009 weiterhin eine ganze Invalidenrente auszuzahlen; eventuell sei die Sache zur weiteren medizinischen Abklärung durch unabhängige Experten an die Verwaltung zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. des Bundesgesetzes über das Bundesgericht, BGG) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig und zu prüfen ist, ob die seit 1. April 2002 laufende Invalidenrente zu Recht revisionsweise auf den 30. November 2009 aufgehoben wurde.
2.1 Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Anspruch auf eine Invalidenrente, die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich und die Rentenrevision infolge wesentlicher Änderung in den tatsächlichen Verhältnissen mit den zu beachtenden beweisrechtlichen Regeln zutreffend dargelegt. Darauf wird verwiesen.
Hervorzuheben ist, dass gemäss <ref-law> bei einer erheblichen Änderung des Invaliditätsgrades eines Rentenbezügers die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben wird. Anlass zu einer solchen Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen (<ref-ruling> E. 3.5 Ingress S. 349 mit Hinweisen).
Ob eine wesentliche Änderung der tatsächlichen Verhältnisse eingetreten ist, ist Tatfrage und kann damit vom Bundesgericht nur auf offensichtlich Unrichtigkeit und auf Rechtsverletzung im Sinne von <ref-law> überprüft werden (vgl. SVR 2009 IV Nr. 57 S. 177, 9C_149/2009 E. 3.2.3; E. 1 hievor).
2.2 Gemäss dem angefochtenen Entscheid bilden die rentenzusprechende Verfügung vom 14. April 2003 und die streitige Verfügung vom 21. Oktober 2009 die zeitlichen Vergleichspunkte für die Beurteilung, ob eine revisionsbegründende Änderung der tatsächlichen Verhältnisse eingetreten ist. Das ist im Lichte der Rechtsprechung (<ref-ruling> E. 3 S. 132 f. und 133 V 108 E. 5.4 S. 114) nicht zu beanstanden. Soweit der Beschwerdeführer die Auffassung vertritt, es sei als zweiter Vergleichszeitpunkt die Einleitung des Revisionsverfahren zu betrachten, kann ihm nicht gefolgt werden.
2.3 Das kantonale Gericht hat erwogen, die Invalidenrente sei gestützt auf die Diagnosen gemäss hausärztlichem Bericht vom 26. Februar 2002 (Cervikobrachialsyndrom nach Auffahrunfall; psychische Anpassungsstörung; groteskes Zittern der linken Hand) und gemäss psychiatrischem Gutachten des Sozialpsychiatrischen Dienstes des Kantons Y._ (nachfolgend: SPD) vom 26. Juli 2002 (Mischbild posttraumatische Belastungsstörung mit Körpersymptomen und dissoziative Bewegungsstörung) zugesprochen worden. Es hat im Weiteren gestützt auf die medizinischen Verlaufsberichte und insbesondere das MEDAS-Gutachten vom 10. Juni 2009 eine revisionsbegründende Änderung bejaht und dies damit begründet, die für die Rentenzusprechung massgeblichen psychischen Leiden bestünden nicht mehr und es liege nunmehr für angepasste Tätigkeiten eine volle Arbeitsfähigkeit ohne Leistungseinschränkung vor. In erwerblicher Hinsicht habe dies zur Folge, dass der Invaliditätsgrad nurmehr 31 % betrage.
2.4 Der Versicherte erhebt zunächst verschiedene Einwände betreffend die Feststellungen zum Gesundheitszustand. Im Einzelnen ergibt sich Folgendes:
2.4.1 Geltend gemacht wird, Verwaltung, MEDAS und Vorinstanz hätten nicht über sämtliche relevanten medizinischen Akten verfügt. Der Beschwerdeführer habe vor dem Auffahrunfall von 2001 in der Zeit von 1986 bis 1996 sechs weitere Unfälle erlitten. Die somatischen Beschwerden gingen auf diese insgesamt sieben Unfälle zurück. Es seien aber nur die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) zum Unfall von 2001 beigezogen worden, nicht aber die SUVA-Akten zu den Vorunfällen.
Das kantonale Gericht hat diesen Einwand mit der Begründung verworfen, die MEDAS-Experten hätten über die massgeblichen Vorakten verfügt und diese auch gewürdigt. Diese Beurteilung ist nicht zu beanstanden. Hervorzuheben ist namentlich, dass gemäss den vorliegenden Akten (insbesondere Bericht des SUVA-Arztes Dr. med. B._ vom 14. Februar 2003; psychiatrisches SPD-Gutachten vom 26. Juli 2002; Austrittsbericht Rehaklinik X._ vom 2. Oktober 2001) Vorunfälle nicht zu länger dauernden Beschwerden geführt oder gar Gesundheitsschäden, welche noch geklagte Beschwerden zu erklären vermöchten, verursacht haben.
2.4.2 Vorgebracht wird weiter, Aussagen des Hausarztes und des SUVA-Arztes Dr. med. B._, welche den Feststellungen der MEDAS-Experten zuwiderliefen, seien nicht oder zu wenig berücksichtigt worden. Das betreffe insbesondere die Veränderungen an der Wirbelsäule und daraus resultierende Symptome und Schmerzen, welche sogar eine gesundheitliche Verschlechterung auswiesen.
Das kantonale Gericht hat sich auch mit den Berichten des Hausarztes und des Dr. med. B._ auseinandergesetzt und ist zum Ergebnis gelangt, weder deren Aussagen noch die anderen medizinischen Berichte enthielten Anhaltspunkte, welche die Verlässlichkeit des MEDAS-Gutachtens vom 10. Juni 2009 in Frage stellten. Diese Beurteilung beruht auf einer einlässlichen Würdigung der medizinischen Akten. Sie ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Das gilt namentlich auch hinsichtlich der Fehlform und degenerativen Veränderungen an der Wirbelsäule, welche in überzeugender Weise beurteilt wurden. Besonders zu erwähnen ist das Vorbringen des Beschwerdeführers, Dr. med. B._ habe in der Ärztlichen Beurteilung vom 14. Februar 2003 einen Morbus Bechterew erwähnt. Hiezu ist festzuhalten, dass der SUVA-Arzt ausdrücklich festgehalten hat, der zunächst aufgrund des Formfehlers der Brustwirbelsäule klinisch erweckte Verdacht eines Morbus Bechterew habe sich nicht bestätigen lassen.
2.4.3 Der Versicherte äussert überdies Kritik am psychiatrischen Teilgutachten der MEDAS vom 3. Juni 2009.
Das kantonale Gericht hat das Teilgutachten gewürdigt und sich hiebei mit den entsprechenden Einwänden, welche insbesondere einzelne Aussagen in der Expertise und die Durchführung der Abklärung mit Unterstützung einer Dolmetscherin betreffen, auseinandergesetzt. Es ist zum Ergebnis gelangt, das Teilgutachten gebe überzeugenden Aufschluss zu den sich in psychischer Hinsicht stellenden Fragen. Diese Beurteilung ist schlüssig. Daran ändert auch der Einwand betreffend Dauer der psychiatrischen Abklärung nichts, zumal keine Anhaltspunkte dafür bestehen, dass diese nicht sorgfältig vorgenommen wurde. Es bleibt festzuhalten, dass die Einschätzung gemäss psychiatrischer Teilexpertise in der abschliessenden Gesamtbeurteilung auch von sämtlichen weiteren beteiligten Gutachtern übernommen wurde.
2.4.4 Die genannten Vorbringen des Versicherten lassen die vorinstanzliche Beurteilung somit weder als offensichtlich unrichtig noch als rechtsverletzend im Sinne von <ref-law> erscheinen. Gleiches gilt für die weiter geltend gemachten Interpretationen einzelner ärztlicher Aussagen, wie etwa des neurochirurgischen MEDAS-Experten. Festzuhalten bleibt, dass von weiteren medizinischen Abklärungen in rechtmässiger antizipierter Beweiswürdigung abgesehen wurde.
2.5 Was der Beschwerdeführer zur noch gegebenen Restarbeitsfähigkeit vorbringt, ist schwer nachvollziehbar. Es geht aus seinen Ausfühgungen nicht klar hervor, ob er Widersprüche innerhalb des MEDAS-Gutachtens vom 10. Juni 2009 geltend machen will. Solche Widersprüche ergeben sich denn auch weder aus den vom Versicherten zitierten Stellen des Gutachtens noch aus dessen übrigem Inhalt. Soweit der Beschwerdeführer sodann auf die frühere Tätigkeit bei der E._ AG Bezug nimmt, hat es mit der Feststellung sein Bewenden, dass bei der Invaliditätsbemessung auch die Arbeitsfähigkeit in anderen zumutbaren Tätigkeiten zu berücksichtigen ist. Es besteht jedenfalls kein Anlass, die vorinstanzlichen Feststellungen zum aktuellen Zumutbarkeitsprofil in Frage zu stellen.
2.6 Die erwerblichen Auswirkungen der bestehenden gesundheitsbedingten Beeinträchtigung hat das kantonale Gericht mittels Einkommensvergleich bestimmt. Es hat das im Gesundheitsfall mutmasslich erzielte Einkommen (Valideneinkommen) gestützt auf den früher erzielten Lohn auf Fr. 74'532.- und das trotz des noch bestehenden Gesundheitsschadens zumutbarerweise erzielbare Einkommen (Invalideneinkommen) unter Verwendung von Tabellenlöhnen und unter Berücksichtigung eines leidensbedingten Abzuges von 15 % auf Fr. 51'192.- festgesetzt. Der Vergleich der beiden Einkommen ergibt eine gesundheitsbedingte Erwerbseinbusse von Fr. 23'340.-, entsprechend einem Invaliditätsgrad von (gerundet) 31 %.
2.6.1 In der Beschwerde wird beanstandet, es seien keine Eingliederungsmassnahmen durchgeführt worden.
Im vorinstanzlichen Verfahren hatte der Versicherte noch ausdrücklich die Zusprechung von Eingliederungsmassnahmen beantragt. Das kantonale Gericht ist auf diesen Antrag mit der Begründung nicht eingetreten, die Verwaltung habe darüber noch nicht verfügt, womit es diesbezüglich an einem Anfechtungsgegenstand fehle. Das wird in der Beschwerde nicht in Frage gestellt. Geltend gemacht wird, die Invaliditätsbemessung im Rahmen eines Revisionsverfahrens dürfe nicht vorgenommen werden, bevor die Eingliederungsfrage geregelt sei. Der Versicherte nimmt dabei Bezug auf das Urteil 9C_720/2007 vom 28. April 2008 (zusammengefasst und kommentiert in: SZS 2009 S. 147).
Im Gegensatz zum dort beurteilten Sachverhalt war die versicherte Person im vorliegenden Fall aber bereits über lange Zeit vor Invaliditätseintritt ohne längere gesundheitsbedingte Einschränkung erwerbstätig und konnte entsprechend Berufserfahrung sammeln, und es ist hier auch eine wesentlich kürzere Dauer des Rentenbezugs gegeben. Damit weicht der vorliegende Sachverhalt erheblich von dem im Urteil 9C_720/2007 beurteilten ab. Hinzu kommt, dass die IV-Stelle in der Verfügung vom 21. Oktober 2009 ausgeführt hat, sie sei gerne bereit, Eingliederungsmassnahmen einzuleiten. Dies sei aber an die Voraussetzung geknüpft, dass der Versicherte sich arbeitsfähig fühle und bereit sei, aktiv an der Eingliederung mitzuwirken. Der Beschwerdeführer habe ihr daher klar und eindeutig mitzuteilen, ob dies zutreffe, verbunden mit der Angabe, welche Tätigkeit er sich vorstellen könne. Solange kein Eingliederungs- und Mitwirkungswille bestehe, könne von der IV-Stelle nicht erwartet werden, dass sie die Eingliederung prüfe. Die Verwaltung hat sich somit die Eingliederungsfrage durchaus gestellt. Sie sah indessen mangels überzeugender Anzeichen für den Eingliederungs- und Mitwirkungswillen des Versicherten keine Veranlassung, entsprechende Massnahmen einzuleiten. Eingliederungsmassnahmen machen in der Tat nur dann Sinn, wenn die versicherte Person gewillt ist, daran teilzunehmen und auf ihre (Wieder-)Eingliederung ins Erwerbsleben hinzuwirken. Im vorliegenden Fall hat der Beschwerdeführer nun aber stets betont, nicht mehr arbeitsfähig zu sein. Es fehlt auch an einer klaren Aussage, wonach er sich eine Wiedereingliederung vorstellen könne. Der Versicherte gibt zudem nicht einmal ansatzweise an, welche Eingliederungsmassnahmen denn in Frage kämen. Er macht in diesem Zusammenhang einzig geltend, die IV-Stelle hätte sich beim früheren Arbeitgeber E._ AG nach der Möglichkeit einer Wiederbeschäftigung erkundigen sollen. Das hätte bei ernsthaftem Eingliederungswillen aber auch der Beschwerdeführer tun können, ohne dass hiefür eine Unterstützung durch die Verwaltung erforderlich gewesen wäre. Es kann denn auch nicht sein, wie das dem Verständnis des Versicherten zu entsprechen scheint, dass die Verwaltung erst dann eine Rente aufheben darf, wenn bereits ein Arbeitsplatz mit rentenausschliessendem Einkommen gefunden ist. Der Einwand des Versicherten geht somit fehl.
2.6.2 Soweit zumindest sinngemäss vorgebracht wird, eine Wiedereingliederung sei mit dem gegebenen Gesundheitszustand nicht vereinbar, hat es mit der Feststellung sein Bewenden, dass der massgebliche ausgeglichene Arbeitsmarkt (vgl. <ref-law>) genügend Stellen aufweist, welche mit dem gegebenen Zumutbarkeitsprofil ausgeübt werden können.
2.6.3 Der vorinstanzliche Einkommensvergleich wird überdies nicht beanstandet und gibt keinen Anlass zu weiteren Bemerkungen. Der Invaliditätsgrad beträgt demnach noch 31 %. Damit werden die für einen Rentenanspruch mindestens erforderlichen 40 % (<ref-law>) nicht mehr erreicht, weshalb die Rente zu Recht aufgehoben wurde. Das wäre im Übrigen, wie die Vorinstanz ergänzend erwähnt, auch dann der Fall, wenn der leidensbedingte Abzug vom Invalideneinkommen auf die rechtsprechungsgemäss (<ref-ruling>) maximal möglichen - und hier sicher nicht gerechtfertigten - 25 % angesetzt würde. Der Invaliditätsgrad beliefe sich damit auf ebenfalls nicht rentenbegründende 39 %.
3. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. September 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz