Sachverhalt:
A. Der 1946 geborene B._ bezog gemäss Verfügungen der IV-Stelle des Kantons Zürich vom 26. November 2004 seit März 2003 eine ganze Invalidenrente. Am 29. Dezember 2006 hob die IV-Stelle die Invalidenrente revisionsweise auf das Ende des der Verfügungszustellung folgenden Monats auf. Die vom Versicherten hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. April 2007 in dem Sinne gut, dass es die angefochtene Verfügung vom 29. Dezember 2006 aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, neu verfüge. In der Folge holte die IV-Stelle eine Expertise des medizinischen Begutachtungsinstituts X._ vom 9. September 2008 ein. Mit Verfügung vom 7. April 2009 hielt die IV-Stelle daran fest, dass die Invalidenrente eingestellt bleibe. Mit einer weiteren Verfügung vom 25. September 2009 forderte die IV-Stelle von B._ die in der Zeit vom 1. März 2005 bis 31. Januar 2007 im Gesamtbetrag von Fr. 36'684.- ausbezahlten Rentenbetreffnisse zurück, da diese zu Unrecht ausgerichtet worden seien.
B. B._ liess die Verfügungen vom 7. April und 25. September 2009 beschwerdeweise anfechten, wobei er die Gewährung der ganzen Invalidenrente über den 31. Januar 2007 hinaus und die Aufhebung der Rückforderungsverfügung beantragen liess. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die beiden Verfahren. Mit Entscheid vom 29. November 2010 wies es die Beschwerden ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm auch nach dem 31. Januar 2007 eine ganze Invalidenrente auszurichten und von der Rückforderung der Rentenbetreffnisse sei abzusehen; eventuell sei ihm ab 1. Februar 2007 eine Dreiviertelsrente zuzusprechen; subeventuell sei die Sache zur Vornahme beruflicher Eingliederungsmassnahmen an die Verwaltung zurückzuweisen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Die Vorinstanz hat die gesetzlichen Bestimmungen über die Revision der Invalidenrente (<ref-law>), die Rückerstattung unrechtmässig bezogener Leistungen (<ref-law>), das Erlöschen des Rückforderungsanspruchs (<ref-law>) sowie die Wiedererwägung formell rechtskräftiger Verfügungen (<ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Hinsichtlich des Rentenanspruchs stellte die Vorinstanz in Würdigung der medizinischen Gutachten, insbesondere der Expertise des medizinischen Begutachtungsinstituts X._ vom 9. September 2008, fest, dass der Beschwerdeführer in einer körperlich leichten, angepassten Tätigkeit mit Rücksicht auf seinen Gesundheitszustand voll arbeitsfähig wäre. Soweit im Gutachten des Spitals Y._ vom Frühjahr 2002 andere Einschätzungen der Leistungsfähigkeit enthalten waren, seien die Ärzte von unzutreffenden Schilderungen des Beschwerdeführers betreffend seine Leistungsfähigkeit im Alltag ausgegangen. Der Unterschied zwischen den Gutachten von 2002 und 2008 liege darin, dass sich nicht der tatsächliche, sondern der darin beurteilte Sachverhalt geändert hat. Nach dieser Betrachtungsweise stelle die ursprüngliche Annahme eines anderen Sachverhalts als des effektiv zutreffenden eine zweifellose Unrichtigkeit im Sinne von <ref-law> dar. Damit sei eine Aufhebung der Invalidenrente auf dem Weg der Wiedererwägung begründet. Hätten hingegen die Angaben des Beschwerdeführers sowohl gegenüber den Ärzten des Spitals Y._ als auch des medizinischen Begutachtungsinstituts X._ zugetroffen, sei eine eindrückliche zwischenzeitliche Verbesserung des Gesundheitszustandes belegt; damit wären die Voraussetzungen für eine revisionsweise Leistungsanpassung offenkundig erfüllt. Eine dem Zumutbarkeitsprofil gemäss Gutachten des medizinischen Begutachtungsinstituts X._ entsprechende Invaliditätsbemessung ergebe keinen rentenbegründenden Invaliditätsgrad.
3.2 Der Auffassung des Sozialversicherungsgerichts ist beizupflichten. In der Beschwerde wird nicht geltend gemacht, inwieweit die Vorinstanz den rechtserheblichen Sachverhalt offensichtlich unrichtig oder sonstwie in Verletzung von Bundesrecht (E. 1 hievor) festgestellt habe. Vielmehr beschränkt sich der Beschwerdeführer auf eine im Rahmen der gesetzlichen Überprüfungsbefugnis unzulässige, appellatorische Kritik an den tatbeständlichen Darlegungen des kantonalen Gerichts. Auszugehen ist somit von der verbindlichen Feststellung der Vorinstanz, wonach der Beschwerdeführer in einer leidensangepassten Tätigkeit voll arbeitsfähig ist. Aufgrund dieses Umstandes hat das kantonale Gericht angenommen, der Versicherte wäre in der Lage, Einkünfte zu erzielen, welche einen Invalidenrentenanspruch ausschliessen.
3.3 Hiegegen erhebt der Beschwerdeführer keine stichhaltigen Einwände. Soweit er geltend macht, die Aufhebung der Invalidenrente sei nicht einer Änderung des medizinischen Sachverhalts, sondern einer neuen Rechtsprechung zuzuschreiben, ist er darauf hinzuweisen, dass die Vorinstanz die tatsächlichen Voraussetzungen für eine Rentenrevision oder eine Wiedererwägung als klar erfüllt erachtet hat. Inwiefern die Aufhebung der Invalidenrente Bundesrecht verletzen soll, vermag der Beschwerdeführer nicht darzutun. Dass sich Verwaltung und Vorinstanz nicht näher mit der Frage der Eingliederung befasst haben, mag zutreffen. Im Gegensatz zu dem in der Beschwerde zitierten Urteil 9C_720/2007 vom 28. April 2008 (SZS 2009 S. 147) bestehen im vorliegenden Fall keine Anhaltspunkte für die Annahme, der Versicherte könnte nur mit Hilfe medizinisch-rehabilitativer sowie beruflicher Massnahmen (<ref-law>) wiederum eine erwerblich verwertbare Leistung erbringen, nachdem in der Expertise des medizinischen Begutachtungsinstituts X._ eine volle Einsatzfähigkeit in einer körperlich leichten, angepassten Tätigkeit attestiert wurde. Bei diesen Gegebenheiten durfte die Vorinstanz auch ohne Prüfung beruflicher Eingliederungsmassnahmen davon ausgehen, dass der Versicherte auf dem ausgeglichenen Arbeitsmarkt eine Stelle finden würde, an der er seine verbliebene Leistungsfähigkeit ausschöpfen kann. Wenn das Sozialversicherungsgericht auf eine nähere Abklärung beruflicher Eingliederungsmassnahmen verzichtet hat, entspricht dies im Übrigen bei Annahme eines Revisionstatbestandes auch dem Grundsatz, dass aus einer medizinisch attestierten Verbesserung der Arbeitsfähigkeit in der Regel unmittelbar auf eine Verbesserung der Erwerbsfähigkeit geschlossen und damit ein entsprechender Einkommensvergleich (mit dem Ergebnis eines tieferen Invaliditätsgrades) vorgenommen werden kann (Urteil 9C_163/2009 vom 10. September 2010 E. 4.2.2 mit Hinweisen = SVR 2011 IV Nr. 30 S. 86).
Gemäss SVR 2011 IV Nr. 30 S. 86 (9C_163/2009) setzt eine rentenbestimmende Invaliditätsbemessung auch im Revisionsfall (<ref-law>) voraus, dass angezeigte Eingliederungsmassnahmen durchgeführt worden sind. Dementsprechend muss der Eingliederungsbedarf im Falle einer Revision in gleicher Weise wie im Rahmen einer erstmaligen Invaliditätsbemessung abgeklärt werden. Wie das Bundesgericht in einem neuesten Urteil erkannt hat, ist diese Praxis jedoch auf Sachverhalte zu beschränken, in denen die Herabsetzung oder Aufhebung der Invalidenrente einer versicherten Person betrifft, die das 55. Altersjahr zurückgelegt hat oder die Rente mehr als 15 Jahre bezogen hat (Urteil 9C_228/2010 vom 26. April 2011).
Da der 1946 geborene Beschwerdeführer das 55. Altersjahr längst zurückgelegt hat, wäre es ihm grundsätzlich nicht zumutbar, die medizinisch attestierte Verbesserung der Arbeitsfähigkeit auf dem Wege der Selbsteingliederung zu verwerten. Ausnahmen sind indessen laut E. 3.5 des Urteils 9C_228/2010 vom 26. April 2011 möglich. Im vorliegenden Fall ist eine Ausnahme zu bejahen: Der Versicherte ist derart agil (spielt Tennis, fährt Ski) und gewandt (gepflegtes und konzentriertes Auftreten) sowie im gesellschaftlichen Leben integriert, dass objektiv einer Selbsteingliederung trotz fortgeschrittenen Alters nichts entgegensteht.
4. 4.1 Die Vorinstanz hat des Weiteren die Rückforderung zu Unrecht bezogener Invalidenrenten in der Höhe von Fr. 36'684.- gemäss Verfügung der IV-Stelle vom 25. September 2009 für den Zeitraum vom 1. März 2005 bis 31. Januar 2007 bestätigt. Dabei stellte sie mit Bezug auf den Beginn der Verwirkungsfrist des <ref-law> fest, die Beschwerdegegnerin habe letztlich erst mit dem rechtskräftigen Abschluss des Rechtsmittelverfahrens betreffend Rentenaufhebung zuverlässige Kenntnis von einem unrechtmässigen Leistungsbezug erhalten, auch wenn sie bereits vorgängig die Rentenaufhebung verfügt hat.
4.2 Was der Beschwerdeführer gegen die Rechtmässigkeit der Rückforderung vorträgt, ist unerheblich. Soweit er den für die Rentenrevision massgeblichen, auch in Bezug auf die Rückforderung relevanten Zeitpunkt der Verbesserung des Gesundheitszustandes (März 2005) beanstandet, ist er darauf hinzuweisen, dass es insoweit um vorinstanzliche Feststellungen tatsächlicher Natur geht, die für das Bundesgericht verbindlich sind, zumal er zu Recht keine offensichtlich unrichtige oder anderweitig bundesrechtswidrige Sachverhaltsfeststellung durch das Sozialversicherungsgericht rügt. Auch die übrigen Ausführungen zur Frage der Verwirkung nach <ref-law> vermögen nicht zu begründen, weshalb die Annahme des kantonalen Gerichts, wonach zuverlässige Kenntnis von der Rechtswidrigkeit des Leistungsbezugs erst nach Rechtskraft der Rentenaufhebung vorliege, Bundesrecht verletzen soll. Die Sichtung des Observationsmaterials, welches belegte, dass der Versicherte trotz Gesundheitsschadens und voller Invalidität verschiedene Sportarten wie Tennis spielen und Ski fahren ausüben konnte, verschaffte der Verwaltung entgegen den Ausführungen in der Beschwerde noch keine zuverlässige Kenntnis von einem unrechtmässigen Rentenbezug. Die einjährige Verwirkungsfrist begann daher nicht mit Erlass des Vorbescheids vom 12. September 2006 betreffend Aufhebung der Rente zu laufen. Auch in der Tatsache, dass die Vorinstanz für den Beginn des Fristenlaufs nicht auf die Kenntnisnahme der Expertise des medizinischen Begutachtungsinstituts X._ durch die Verwaltung abgestellt hat, liegt keine Bundesrechtsverletzung.
5. Die Eventualanträge auf Zusprechung einer Dreiviertelsrente der Invalidenversicherung ab 1. Februar 2007, allenfalls auf Rückweisung an die Verwaltung zur Vornahme beruflicher Eingliederungsmassnahmen, sind unbegründet. Dass kein Anspruch auf berufliche Massnahmen besteht, wurde bereits dargelegt. Ebenso hat das Gericht den vorinstanzlichen Erwägungen beigepflichtet, wonach der Versicherte mit einer körperlich leichten Tätigkeit auf dem allgemeinen Arbeitsmarkt ein rentenausschliessendes Erwerbseinkommen erzielen könnte (E. 3.2 hievor). Damit ist auch der eventualiter geltend gemachte Anspruch auf eine Dreiviertelsrente ausgeschlossen. Der in der Beschwerde vorgenommene Einkommensvergleich ist schon deshalb nicht massgebend, weil der Versicherte ein Arbeitspensum in einer angepassten Tätigkeit von lediglich 50 % zugrunde legt, wogegen die Fachärzte des medizinischen Begutachtungsinstituts X._ für leichte Arbeiten eine volle Leistungsfähigkeit bescheinigt haben.
6. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer