Sachverhalt: A. Der 1959 geborene A._ zog sich bei einem Verkehrsunfall im November 1996 verschiedene Verletzungen zu, worauf er sich am 24. November 1997 bei der Invalidenversicherung zum Leistungsbezug anmeldete. Gestützt auf die getroffenen Abklärungen ermittelte die IV-Stelle des Kantons Zürich für die Zeit von November 1997 bis Januar 1999 einen Invaliditätsgrad von 70 %, weshalb sie ihm vom 1. November 1997 bis 30. April 1999 eine befristete ganze Invalidenrente zusprach. Die vom Versicherten hiegegen eingereichte Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich dahin gut, dass es die angefochtene Verfügung insoweit aufhob, als damit der Anspruch auf eine halbe Invalidenrente ab 1. Mai 1999 sowie auf berufliche Massnahmen verneint worden war, und die Sache an die Verwaltung zurückwies, damit diese nach zusätzlichen Abklärungen im Sinne der Erwägungen neu verfüge (Entscheid vom 19. Januar 2001). Eine Verfügung der Schweizerischen Unfallversicherungsanstalt (SUVA), welche für die Folgen des Verkehrsunfalls ab 1. Dezember 1999 eine Invalidenrente auf der Grundlage einer Erwerbsunfähigkeit von 40 % zugesprochen hatte, focht A._ ebenfalls beschwerdeweise an. Mit Entscheid vom 19. Januar 2001 hiess das Sozialversicherungsgericht des Kantons Zürich die Beschwerde im gleichen Sinn wie die invalidenversicherungsrechtliche Beschwerde gut. Mit Verfügung vom 20. September 2001 sprach die IV-Stelle dem Versicherten rückwirkend ab 1. Mai 1999 auf der Grundlage eines Invaliditätsgrades von 50 % eine halbe Invalidenrente zu. Im Juni 2012 leitete die IV-Stelle ein Revisionsverfahren ein. Sie ordnete eine polydisziplinäre Abklärung durch das Medizinische Gutachtenzentrum Region St. Gallen GmbH, Rorschach (MGSG), an. Die Expertise wurde am 2. November 2013 erstattet und am 24. Februar sowie am 4. März 2013 ergänzt. Mit Verfügung vom 11. Mai 2015 hob die IV-Stelle die ursprüngliche Verfügung vom 20. September 2001 wiedererwägungsweise auf und hob die laufende Rente per Ende Juni 2015 auf. Da die gerichtlich angeordneten Abklärungen unterblieben waren, sei die damalige Verfügung vom 20. September 2001, mit welcher ab 1. Mai 1999 eine halbe Invalidenrente zugesprochen wurde, in Verletzung des Untersuchungsgrundsatzes ergangen und damit zweifellos unrichtig, was deren Aufhebung im Rahmen einer Wiedererwägung rechtfertige. B. A._ liess Beschwerde führen mit dem Rechtsbegehren um Aufhebung der Verwaltungsverfügung. Mit Entscheid vom 29. Oktober 2015 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, der vorinstanzliche Entscheid und die Verfügung der IV-Stelle vom 11. Mai 2015 seien aufzuheben. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.