Sachverhalt: A. Der 1958 geborene A._ bezog seit 1. Februar 1997 eine halbe Rente der Invalidenversicherung wegen den Folgen eines bei einer Heckauffahrkollision erlittenen Schleudertraumas der Halswirbelsäule (HWS; Verfügung vom 20. November 1998). Anlässlich eines Revisionsgesuchs vom 18. Juni 2001 sprach ihm die IV-Stelle des Kantons Zürich mit Verfügung vom 5. Dezember 2001 rückwirkend per 1. Juni 2001 eine ganze Rente zu. Im Rahmen einer Rentenrevision von Amtes wegen im Jahre 2008 klärte sie, aufgrund eines Hinweises der SUVA, die medizinische und berufliche Situation vertieft ab und ordnete im März 2009 eine Observation des Versicherten an. Dies führte zur Sistierung der Rente am 19. November 2009 und zur Einreichung einer Strafanzeige gegen A._ am 5. Januar 2010. Gestützt auf das überdies veranlasste Gutachten der Medizinischen Begutachtungsstelle des Zentrums B._ vom 9. Mai 2011 sprach ihm die IV-Stelle in Aufhebung der bisherigen Rentenleistungen unter dem Titel der prozessualen Revision vom 1. Februar bis 31. Dezember 1997, vom 1. September 1999 bis 31. Mai 2000 und vom 27. Februar bis 7. April 2001 eine halbe Rente zu. Ferner hob sie die bisher vom 1. Januar 1998 bis 1. September 1999, vom 1. Juni 2000 bis 27. Februar 2001 und ab 7. April 2001 zugesprochenen Renten auf (Verfügung vom 9. September 2011). Mit Verfügung vom 28. Juli 2011 hatte der Unfallversicherer bereits die bisher ausgerichtete Rente rückwirkend auf den 1. Juni 2006 aufgehoben und Fr. 108'702.30 zurückgefordert. Am 16. November 2011 forderte die IV-Stelle ihrerseits zu Unrecht bezogene Rentenleistungen in der Höhe von Fr. 596'283.- verfügungsweise zurück. B. Die von A._ gegen die beiden Verfügungen erhobenen Beschwerden hiess das Sozialversicherungsgericht des Kantons Zürich nach Vereinigung der Verfahren teilweise gut, indem es in Abänderung der Verfügung vom 9. September 2011 die Rentenleistungen rückwirkend per 1. Juni 2001 aufhob und in Abänderung der Verfügung vom 16. November 2011 den Anspruch auf Rückerstattung auf Fr. 524'713.- festsetzte. Im Übrigen wies es die Beschwerden ab (Entscheid vom 30. Mai 2014). C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei ihm in Aufhebung des vorinstanzlichen Entscheides rückwirkend ab 1997 und über den 1. Juni 2001 hinaus mindestens eine halbe Invalidenrente zuzusprechen. Während die IV-Stelle Abweisung der Beschwerde beantragt, hat das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet.