Sachverhalt:
A.
A.a. Der 1954 geborene X._ meldete sich erstmals im November 1992 unter Verweis auf die Folgen eines im November 1991 erlittenen Autounfalls bei der Invalidenversicherung zum Leistungsbezug an. Nachdem dieses Leistungsgesuch abgewiesen worden war (Verfügungen vom 16. Juni 1994 und 28. Juli 1995), ersuchte er im Februar 1996 erneut um Leistungen. Die IV-Stelle des Kantons Zürich sprach ihm mit Verfügung vom 17. Februar 1998 eine halbe Invalidenrente (nebst Zusatzrenten für die Ehefrau und drei Kinder) ab September 1996 zu. Im Rahmen eines im Juni 1999 eingeleiteten Revisionsverfahrens machte X._ eine Verschlechterung seines Gesundheitszustandes geltend. Mit Verfügung vom 14. Januar 2000 sprach die IV-Stelle dem Versicherten eine ganze Invalidenrente ab 1. Juni 1999 zu (Invaliditätsgrad 100 %). Mit Mitteilungen vom 21. November 2000 und vom 21. Dezember 2001 bestätigte die IV-Stelle einen unveränderten Invaliditätsgrad und Anspruch. Für zwei weitere, am 11. April 2001 und 15. Februar 2003 geborene Kinder sprach sie dem Versicherten mit Verfügungen vom 6. Februar 2002 und 12. Januar 2004 jeweils eine Zusatzrente ab 1. April 2001 resp. ab 1. Februar 2003 zu.
Die Unfallversicherung gewährte X._, nachdem sie das polydisziplinäre Gutachten der Klinik C._ vom 17. November 2003 eingeholt hatte, mit Verfügung vom 6. Dezember 2004 ebenfalls eine Invalidenrente. Mit Mitteilung vom 25. Oktober 2006 bestätigte die IV-Stelle erneut den bisherigen Invaliditätsgrad. Nachdem die Unfallversicherung die Observation des X._ veranlasst hatte (Berichte vom 29. September und 17. Dezember 2007), reichte sie am 21. Dezember 2007 gegen diesen Strafanzeige wegen Verdachts auf Versicherungsbetrug ein. Als vorsorgliche Massnahme sistierte die IV-Stelle die Invalidenrente rückwirkend ab 19. Februar 2008 (Verfügung vom 28. Februar 2008).
A.b. Das Bezirksgericht verurteilte X._ am 10. Februar 2009 wegen mehrfachen Betrugs sowie versuchten Betrugs zu einer Freiheitsstrafe von 24 Monaten. Das Obergericht des Kantons Zürich sprach X._ am 24. März 2011 auf dessen Berufung hin frei. Mit Urteil 6B_304/2011 vom 24. November 2011 hiess das Bundesgericht die dagegen erhobene Beschwerde der Oberstaatsanwaltschaft des Kantons Zürich insoweit gut, als es den Entscheid vom 24. März 2011 aufhob und die Sache zur neuen Entscheidung an die Vorinstanz zurückwies. Am 22. Dezember 2011 ersuchte das Obergericht des Kantons Zürich die IV-Stelle um Orientierung über den Rentenanspruch des X._ ab 1. September 2004; anschliessend sistierte es das Verfahren (Beschluss vom 16. Januar 2012).
A.c. Nach Einholung des polydisziplinären MEDAS-Gutachtens der Neurologie Toggenburg AG vom 17. November 2014 und Durchführung des Vorbescheidverfahrens hob die IV-Stelle die Invalidenrente mit Verfügung vom 12. Juni resp. 4. August 2015 rückwirkend per 1. November 2003 auf.
B.
Die dagegen geführte Beschwerde des X._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 31. Mai 2016 (zugestellt am 13. Juli 2016) ab.
Am gleichen Tag schrieb es die gegen die Sistierungsverfügung vom 28. Februar 2008 erhobene Beschwerde als gegenstandslos ab.
C.
X._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des Entscheids vom 31. Mai 2016 sei ihm auch über den 19. Februar 2008 hinaus eine ganze Invalidenrente (inkl. Kinderrente) zuzusprechen. Eventualiter sei der Entscheid vom 31. Mai 2016 insoweit aufzuheben, als damit ein Rentenanspruch in der Zeit vom 1. November 2003 bis 19. Februar 2008 rückwirkend verneint und eine Rückerstattungsverpflichtung festgestellt werde.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. X._ lässt eine weitere Eingabe einreichen.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Hingegen prüft es die Verletzung von Grundrechten (und von kantonalem und interkantonalem Recht) nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Diesbezüglich bestehen erhöhte Anforderungen an die Begründung (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.6 S. 280 f. mit Hinweis; <ref-ruling> E. 1.4.2 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (<ref-ruling> E. 8.1 S. 153). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. <ref-ruling> E. 2.1 S. 9; Urteil 9C_101/2015 vom 30. November 2015 E. 1.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (vgl. Urteil 9C_999/2010 vom 14. Februar 2011 E. 1; Urteil 9C_753/2015 vom 20. April 2016 E. 1).
2.
2.1. Der Beschwerdeführer macht in seiner ergänzenden Eingabe vom 11. November 2016 - mithin erst nach Ablauf der Beschwerdefrist von <ref-law> - geltend, dass die 2007 durchgeführte Überwachung mangels genügender gesetzlicher Grundlage rechtswidrig erfolgt sei, weshalb deren Ergebnisse nicht hätten berücksichtigt werden dürfen. Anlass zur Eingabe habe erst das Urteil des Europäischen Gerichtshofes für Menschenrechte (EGMR; dritte Kammer) in Sachen Vukota-Bojic gegen die Schweiz (61838/10) vom 18. Oktober 2016 gegeben, worin die gesetzliche Grundlage für eine Observation als ungenügend erachtet und folglich eine Verletzung von Art. 8 EMRK festgestellt wurde. Das Bundesgericht habe der Praxis des EGMR Rechnung zu tragen.
Ob die im Anschluss an das EGMR-Urteil mit entsprechender Stellungnahme und Rüge eingereichte Eingabe zulässig oder als verspätet zu betrachten ist, kann offenbleiben. Die darin enthaltene Argumentation des Beschwerdeführers zielt ohnehin ins Leere (nachfolgend E. 6.3.1).
2.2. Gegenstand der angefochtenen Verfügung vom 4. August 2015 ist einzig der Anspruch auf eine Invalidenrente (ab 1. November 2003), nicht aber die Rückerstattung von (nach Auffassung der IV-Stelle) zu Unrecht ausgerichteten Rentenbetreffnissen. Diesbezüglich wurde explizit eine separate (bislang nicht aktenkundige) Verfügung in Aussicht gestellt. Somit betreffen die Ausführungen des kantonalen Gerichts im Zusammenhang mit der Rückerstattungspflicht (E. 6.4 des angefochtenen Entscheids) nicht den Anfechtungs- resp. Streitgegenstand des vorinstanzlichen Verfahrens, weshalb sie unbeachtet bleiben (<ref-ruling> E. 1 S. 414 f.; vgl. auch <ref-ruling>, 122 V 36 Erw. 2a mit Hinweisen). Folglich ist auf die entsprechenden Vorbringen des Beschwerdeführers nicht weiter einzugehen.
3.
3.1.
3.1.1. Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (<ref-law>; vgl. auch Art. 87 Abs. 2 und 3, Art. 88a und Art. 88bis IVV [SR 831.201]). Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustandes revidierbar. Hingegen ist die lediglich unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts im revisionsrechtlichen Kontext unbeachtlich (<ref-ruling> E. 2.3 S. 10 f. mit Hinweisen; <ref-ruling> E. 3.5 S. 349).
3.1.2. Als Vergleichsbasis für die Beurteilung der Frage, ob bis zum Abschluss des aktuellen Verwaltungsverfahrens eine anspruchserhebliche Änderung des Invaliditätsgrades eingetreten ist, dient die letzte rechtskräftige Verfügung, welche auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (<ref-ruling>; vgl. auch SVR 2010 IV Nr. 54 S. 167, 9C_899/2009 E. 2.1). Dabei braucht es sich nicht um eine formelle Verfügung (<ref-law>) zu handeln. Ändert sich nach durchgeführter Rentenrevision als Ergebnis einer materiellen Prüfung des Rentenanspruchs nichts und eröffnet die IV-Stelle deswegen das Revisionsergebnis gestützt auf <ref-law> auf dem Weg der blossen Mitteilung (<ref-law>), ist im darauf folgenden Revisionsverfahren zeitlich zu vergleichender Ausgangssachverhalt derjenige, welcher der Mitteilung zugrunde lag (SVR 2013 IV Nr. 44 S. 134, 8C_441/2012 E. 3.1.2 mit Hinweisen).
3.2.
3.2.1. Die Herabsetzung oder Aufhebung einer Rente erfolgt rückwirkend ab Eintritt der für den Anspruch erheblichen Änderung, wenn der Bezüger die Leistung zu Unrecht erwirkt hat oder der ihm nach Artikel 77 zumutbaren Meldepflicht nicht nachgekommen ist, unabhängig davon, ob die Verletzung der Meldepflicht oder die unrechtmässige Erwirkung ein Grund für die Weiterausrichtung der Leistung war (<ref-law>).
3.2.2. Jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen ist von den Bezügerinnen und Bezügern, ihren Angehörigen oder Dritten, denen die Leistung zukommt, dem Versicherungsträger oder dem jeweils zuständigen Durchführungsorgan zu melden (<ref-law>). Der Berechtigte oder sein gesetzlicher Vertreter sowie Behörden oder Dritte, denen die Leistung zukommt, haben jede für den Leistungsanspruch wesentliche Änderung, insbesondere eine solche des Gesundheitszustandes, der Arbeits- oder Erwerbsfähigkeit sowie der persönlichen und gegebenenfalls der wirtschaftlichen Verhältnisse des Versicherten unverzüglich der IV-Stelle anzuzeigen (<ref-law>).
4.
Die Vorinstanz hat hinsichtlich der Rentenrevision nach <ref-law> den Erlass der Verfügung vom 14. Januar 2000 als massgeblichen Vergleichszeitpunkt betrachtet. Sie hat dem MEDAS-Gutachten der Neurologie Toggenburg AG vom 17. November 2014 Beweiskraft beigemessen und gestützt darauf festgestellt, die früher bestandenen Rückenpathologien seien 2001 und 2003 operativ angegangen worden, was zu einem wesentlichen Erfolg geführt habe. Spätestens ab August 2003 sei der Versicherte in angepasster Tätigkeit uneingeschränkt arbeitsfähig gewesen und hätte er ein rentenausschliessendes Einkommen erzielen können. Bereits ab diesem Zeitpunkt habe er um seine effektive Leistungsfähigkeit gewusst, aber der IV-Stelle keine entsprechende Meldung gemacht. Dies hat sie als schuldhafte Verletzung der Meldepflicht erachtet. Unter Berücksichtigung der Dreimonatsfrist von <ref-law> hat sie die rückwirkende Aufhebung der bisherigen Invalidenrente auf den 1. November 2003 bestätigt.
5.
5.1. Der Beschwerdeführer wirft der Vorinstanz insofern eine Verletzung von <ref-law> vor, als er den Erlass der Verfügung vom 12. Januar 2004 oder der Mitteilung vom 25. Oktober 2006 als massgeblichen Vergleichszeitpunkt erachtet.
5.2. Die Heranziehung eines Verwaltungsaktes als Vergleichsbasis setzt voraus, dass er auf denjenigen Abklärungen beruht, welche mit Blick auf die möglicherweise veränderten Tatsachen notwendig erscheinen (SVR 2010 IV Nr. 54 S. 167, 9C_899/2009 E. 2.1; Urteil 8C_3/2012 vom 25. April 2012 E. 3.3). Unter einer Sachverhaltsabklärung im Sinne von <ref-ruling> muss eine Abklärung verstanden werden, die - wenn sie inhaltlich zu einem anderen Ergebnis führt - geeignet ist, eine Rentenerhöhung, -herabsetzung oder -aufhebung zu begründen (SVR 2013 IV Nr. 44 S. 134, 8C_441/2012 E. 6.2 mit Hinweisen; Urteil 9C_52/2016 vom 23. März 2016 E. 3.1).
5.3. Die Verfügung, mit welcher dem Beschwerdeführer erstmals eine ganze Rente (ab 1. Juni 1999) zugesprochen wurde, datiert vom 14. Januar 2000. Sie beruht im Wesentlichen auf den Berichten des Dr. med. D._ (Spezialarzt für Chirurgie) vom 1. September und 15. Oktober 1999, mit welchen dieser auf eine bevorstehende Operation verwies und eine vollständige Arbeitsunfähigkeit attestierte, und zwar allein aus orthopädischer Sicht, wie die Vorinstanz verbindlich (E. 1.2) festgestellt hat.
Die IV-Stelle erliess die Verfügung vom 12. Januar 2004 - wie bereits jene vom 6. Februar 2002 - einzig und allein deswegen, weil der Beschwerdeführer Vater eines weiteren Sohnes geworden war, was den Anspruch auf eine zusätzliche Kinderrente auslöste, die dementsprechend zu verfügen war. Dies ergibt sich insbesondere aus dem Beiblatt zur Verfügung vom 8. Januar 2004. Daran ändert nichts, dass die Unfallversicherung das von ihr veranlasste Gutachten der Klinik C._ vom 17. November 2003 bereits zuvor, mit Schreiben vom 2. Dezember 2003, der IV-Stelle zugestellt hatte. Es wurde von der IV-Stelle weder dem Regionalen Ärztlichen Dienst (RAD; vgl. <ref-law>) vorgelegt noch (explizit) gewürdigt und war auch nicht geeignet, eine Anpassung des Rentenanspruchs zu begründen, zumal die Experten im Zeitpunkt der Untersuchungen vom Mai 2003 den postoperativen Zustand als (noch) nicht stabil erachteten. Ebenso ging der Mitteilung vom 25. Oktober 2006 keine materielle Prüfung mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Invaliditätsbemessung voraus. Laut verbindlicher vorinstanzlicher Feststellung beruhte sie lediglich auf knappen, formularartigen (vgl. Anfrage der IV-Stelle vom 9. März 2006) Berichten des behandelnden Dr. med. D._. Aus dem Feststellungsblatt der IV-Stelle vom 26. Oktober 2006 ist denn auch ersichtlich, dass keine weitere Beweismittel gewürdigt oder erhoben wurden.
Bei diesen Gegebenheiten ist nicht zu beanstanden (vgl. auch Urteil 9C_52/2016 vom 23. März 2016 E. 3.2), dass die Vorinstanz den Vergleichszeitpunkt auf den 14. Januar 2000 gemäss der von diesem Datum stammenden Verfügung festlegte.
6.
6.1. Der Beschwerdeführer macht nicht (substanziiert) geltend, die vorinstanzliche Beweiswürdigung und Sachverhaltsfeststellung (E. 4) seien offensichtlich unrichtig (vgl. E. 1.2). Insbesondere belegt er seinen Vorwurf, wonach die Vorinstanz alle seine Angaben dem "Generalverdacht" unterstelle, dass sie falsch sein könnten, nicht mit konkreten Angaben. Hingegen stellt er die Beweiskraft des MEDAS-Gutachtens und die darauf beruhenden Feststellungen betreffend die Arbeitsfähigkeit in Abrede.
6.2.
6.2.1. Bei der Beurteilung der Arbeits (un) fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Ärztliche Aufgabe ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
6.2.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; BGE <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
6.3.
6.3.1. Im Urteil 6B_304/2011 vom 24. November 2011 hielt das Bundesgericht fest, das Obergericht des Kantons Zürich habe im Entscheid vom 24. März 2011 insbesondere die Observationsberichte umfassend wiedergegeben. Die vorinstanzlichen Feststellungen bildeten die (verbindliche) Grundlage dafür, dass das Bundesgericht davon ausging, dass der Beschwerdeführer bei der (in der Slowakei domizilierten) B._ GmbH tätig war und dass er die Versicherer von diesem Umstand hätte unterrichten müssen; unklar blieb in diesem Zusammenhang einzig, seit wann und in welchem Umfang er die anlässlich der Observation dokumentierten Tätigkeiten ausübte und welches Einkommen er dabei erzielte (Urteil 6B_304/2011 vom 24. November 2011 E. 1.4 und 1.5). Das genannte Urteil erwuchs am Tag seiner Ausfällung in Rechtskraft (<ref-law>); es kann auch nicht infolge des EGMR-Urteils vom 18. Oktober 2016 im Rahmen von <ref-law> - mangels Teilnahme des Beschwerdeführers am EGMR-Verfahren - in Revision gezogen werden (Urteil 9F_5/2016 vom 23. September 2016). Folglich durften sowohl das Sozialversicherungsgericht als auch die MEDAS-Gutachter das strafrechtliche Urteil 6B_304/2011 (samt den verbindlichen vorinstanzlichen Feststellungen) und damit auch die Ergebnisse der Observation berücksichtigen.
6.3.2. Was der Beschwerdeführer in materieller Hinsicht gegen die Beweiskraft (E. 6.2.1) des MEDAS-Gutachtens vorbringt, hält nicht stand: Entgegen seiner Darstellung erstrecken sich die retrospektiven Einschätzungen der MEDAS-Experten auch auf einen Zeitraum vor November 2003. Diese nahmen denn auch Stellung zu früheren und aktuellen Einschätzungen anderer Ärzte. Dass sich die Gutachter der Schwierigkeiten im Zusammenhang mit der rückwirkenden Beurteilung bewusst waren, spricht für die Überzeugungskraft ihrer Ausführungen; zudem kann auch eine reine (retrospektive) Aktenbeurteilung beweiskräftig sein (vgl. Urteil 9C_223/2014 vom 4. Juni 2014 E. 6.1 mit Hinweisen). Weiter ist nicht zu beanstanden, dass die Experten ihrer Einschätzung der medizinisch-theoretischen Arbeitsfähigkeit eine adäquate Schmerztherapie zugrunde legten, zumal sie feststellten, dass der Versicherte seit Jahren lediglich bedarfsweise mit leichten Analgetika behandelt werde (vgl. auch die Angaben des Versicherten zur Medikation). Hinzu kommt, dass seit der im Februar 2003 erfolgten Operation keine intensive medizinische Behandlung aktenkundig ist, was ebenfalls Rückschlüsse auf den Leidensdruck zulässt (vgl. <ref-ruling> E. 4.4.2 S. 304). Sodann trägt die ärztliche Beurteilung von der Natur der Sache her unausweichlich Ermessenszüge (<ref-ruling> E. 3.4.2.3 S. 253; Urteil 9C_397/2015 vom 6. August 2015 E. 5.3) und ist dem Unterschied zwischen Behandlungs- und Begutachtungsauftrag Rechnung zu tragen (BGE <ref-ruling> E. 3b/cc S. 353; Urteile 8C_740/2010 vom 29. September 2011 E. 6 und 9C_842/2009 vom 17. November 2009 E. 2.2). Die MEDAS-Gutachter begründeten nachvollziehbar und einleuchtend, weshalb sie in somatischer Hinsicht ab August 2003 und unter psychischen Aspekten seit der Begutachtung durch die Klinik C._ (Mai 2003) eine - im Vergleich zum Zustand im Januar 2000 - gesundheitliche Verbesserung erkannten und einen seither im Wesentlichen unveränderten Gesundheitszustand attestierten. Im Übrigen beschränkt sich der Beschwerdeführer auf weiten Strecken darauf, lediglich die medizinischen Unterlagen abweichend von der Vorinstanz zu würdigen und daraus andere Schlüsse zu ziehen, was nicht genügt (Urteile 9C_494/2016 vom 19. Dezember 2016 E. 3.5; 9C_794/2012 vom 4. März 2013 E. 4.1; 9C_65/2012 vom 28. Februar 2012 E. 4.3 mit Hinweisen).
6.4. Nach dem Gesagten bleiben die auf das MEDAS-Gutachten abgestützten vorinstanzlichen Feststellungen betreffend die Veränderung des Gesundheitszustandes und die Arbeitsfähigkeit in angepasster Tätigkeit für das Bundesgericht verbindlich (E. 1.2). Die Einschätzungen der MEDAS-Experten hinsichtlich der angestammten Tätigkeit, die sie einzig aufgrund der Angaben des Versicherten als "kognitiv anspruchsvoll" erachteten, sind nicht weiter von Belang.
7.
7.1. In Bezug auf den Zeitpunkt resp. die Rückwirkung der Rentenaufhebung (vgl. E. 3.2) macht der Beschwerdeführer lediglich Ausführungen zu einer allfälligen Meldepflichtverletzung im Jahr 2007. Er bestreitet einzig deren Kausalität zur weiteren Rentenausrichtung, weil eine frühere Meldung ohnehin nur bewirkt hätte, dass die Resultate des MEDAS-Gutachtens - die nach seiner Auffassung keine Rentenaufhebung rechtfertigten - früher vorgelegen hätten.
7.2. Die Vorinstanz hat verbindlich (E. 1.2) festgestellt (E. 4), der Beschwerdeführer habe ab August 2003 um seine effektive Leistungsfähigkeit gewusst, aber der IV-Stelle keine entsprechende Meldung gemacht. Sie ist der Auffassung, dass er die IV-Stelle über die Verbesserung seiner gesundheitlichen Situation und Leistungsfähigkeit infolge der am 4. Februar 2003 durchgeführten erfolgreichen Operation hätte in Kenntnis setzen müssen. Folglich ist sie von einer Meldepflichtverletzung ab November 2003 ausgegangen. Dabei hat sie insbesondere die ab 1. Januar 2015 geltende Fassung von Art. 88 bis Abs. 2 lit. b IVV (E. 3.2.1) für anwendbar gehalten. Danach erfolgt die Rentenaufhebung oder -herabsetzung neu "unabhängig davon, ob die Meldepflichtverletzung ein Grund für die Weiterausrichtung der Leistung war".
7.3. Abgesehen davon, dass der Beschwerdeführer das MEDAS-Gutachten unzutreffend einschätzt (vgl. E. 6.4), äussert er sich zu den soeben dargelegten Erwägungen des kantonalen Gerichts mit keinem Wort, weshalb sich diesbezügliche Weiterungen erübrigen (vgl. Art. 42 Abs. 1 und 2 BGG). Es bleibt dabei, dass die Änderung des Rentenanspruchs rückwirkend ab November 2003 berücksichtigt wird.
8.
8.1. Für die Bestimmung des Invaliditätsgrades wird das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (<ref-law> i.V.m. <ref-law>).
8.2. Laut Auskunft der Versicherungsgesellschaft F._ war der Beschwerdeführer ab 1. Januar 1989 bei ihr als Aussendienstmitarbeiter beschäftigt. Er absolvierte dort am 23. August 1991 seinen letzten effektiven Arbeitstag, bevor er am 14. November 1991 verunfallte. 1990 erzielte er ein Einkommen von Fr. 39'501.- und 1991 ein solches von Fr. 37'940.-, was mit den Angaben im Auszug über das individuelle Konto (IK) übereinstimmt. Die Behauptung des Versicherten in seiner Anmeldung vom November 1992, wonach er bei der genannten Arbeitgeberin als Versicherungsexperte tätig gewesen sei und monatlich Fr. 6'000.- netto verdient habe, findet keine Stütze in Unterlagen. Bei Berücksichtigung des 1990 erzielten Einkommens und der Entwicklung des Nominallohnindexes resultiert für das Jahr 2003 ein Valideneinkommen von Fr. 51'186.60. Dies hat als massgebend zu gelten. Die Voraussetzungen für einen Prozentvergleich sind vorliegend nicht gegeben (vgl. dazu <ref-ruling> E. 2).
8.3. Da der Beschwerdeführer angibt, nicht erwerbstätig zu sein und aus seiner Tätigkeit bei der B._ GmbH kein Gehalt zu erzielen, ist das Invalideneinkommen ausgehend von einem Tabellenlohn zu ermitteln (SVR 2014 IV Nr. 37 S. 130, 8C_7/2014 E. 7.1). Gemäss Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) betrug 2002 der Durchschnittslohn für Männer im Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) Fr. 4'557.- pro Monat. Unter Berücksichtigung der Entwicklung des Nominallohnindexes und der betriebsüblichen Wochenarbeitszeit ergibt sich für das Jahr 2003 (zum massgeblichen Vergleichsjahr vgl. <ref-ruling>; <ref-ruling> E. 4.2 S. 224) ein Invalideneinkommen von Fr. 57'749.20.
8.4. Selbst unter Berücksichtigung eines - hier ohnehin nicht angezeigten - maximalen Leidensabzuges von 25 % beliefe sich das Invalideneinkommen immer noch auf Fr. 43'311.90, was eine Erwerbseinbusse von 15,38 % ergibt. Damit steht fest, dass seit August 2003 (E. 4) resp. November 2003 (Art. 88a Abs. 1 letzter Satz IVV) kein rentenbegründender (vgl. <ref-law>) Invaliditätsgrad mehr gegeben ist.
8.5. Schliesslich ist die Beschwerde auch insoweit, als darin die lange Dauer des Verwaltungsverfahrens gerügt wird, unbegründet: Gegenstand der Beschwerde in öffentlich-rechtlichen Angelegenheiten bildet lediglich der angefochtene Entscheid und nicht das Verhalten der IV-Stelle (<ref-law>).
9.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. März 2017
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Dormann