Sachverhalt:
A.
A._, geboren 1952, arbeitete als Betriebsmitarbeiter in der Firma C._ AG. Am 25. März 2004 meldete er sich unter Angabe eines HWS-Distorsionstraumas, zervikaler Diskushernien C5/C6 und C6/C7 und eines Status nach zervikospondylogenem Schmerzsyndrom mit Schmerzausbreitung C6+C7 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und wirtschaftlichen Verhältnisse ab. Sie veranlasste ein Gutachten der Medizinischen Abklärungsstelle (MEDAS) (vom 5. Oktober 2007). Mit Verfügung vom 5. Dezember 2008 wies sie, auch gestützt auf einen von der Basler Versicherung veranlassten Observationsbericht vom 19. Mai 2008, das Leistungsbegehren ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich am 25. Mai 2010 insoweit gut, als es die Sache zur erneuten Abklärung des rheumatologischen und psychiatrischen Gesundheitszustandes an die IV-Stelle zurückwies. In der Folge holte die IV-Stelle weitere Arztberichte ein und beauftragte die Begutachtungsstelle D._ mit der Erstellung eines polydisziplinären Gutachtens (vom 30. März 2011). Mit Vorbescheid vom 11. Oktober 2011 und Verfügung vom 5. Juni 2012 sprach sie A._ ab 1. November 2003 befristet bis zum 30. Juni 2004 eine ganze Invalidenrente zu.
B.
Die Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Februar 2014 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, die IV-Stelle sei zu verpflichten, ihm über den 30. Juni 2004 hinaus eine angemessene Invalidenrente auszurichten.
Die IV-Stelle und die Pensionskasse B._ beantragen die Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat. Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht frei überprüfen kann (<ref-law>).
2.
Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
2.1. Die Vorinstanz erwog, vorab sei zum kantonalen Entscheid vom 25. Mai 2010 festzuhalten, dass die Sache an die Verwaltung zurückgewiesen worden sei, damit diese die rheumatologischen und psychiatrischen Beschwerden und deren Auswirkungen auf die Arbeitsfähigkeit abkläre. Dies sei in erster Linie erfolgt, weil aufgrund des nach der Erstbegutachtung eingereichten Observationsmaterials erhebliche Zweifel daran bestanden hätten, ob die im Rahmen der Überwachung beobachteten Tätigkeiten sich in Einklang mit dem von den Gutachtern der MEDAS formulierten Zumutbarkeitsprofils bringen liessen. Im fraglichen Entscheid sei insgesamt ein Abstellen auf das MEDAS-Gutachten verworfen worden. Eine Bindungswirkung ergebe sich damit nicht. Dr. med. E._ von der Begutachtungsstelle D._ sei im Teilgutachten zur Einschätzung gelangt, die Arbeitsfähigkeit sei aus psychiatrischer Sicht - auch retrospektiv - nicht eingeschränkt. Ausser der anhaltenden somatoformen Schmerzstörung sei keine psychiatrische Diagnose zu stellen. Der Beschwerdeführer leide zwar unter leichten depressiven Verstimmungen und erhöhter Reizbarkeit, eine eigentliche depressive Störung liege aber nicht vor. Davon abweichend sei der behandelnde Dr. med. F._, FMH für Psychiatrie und Psychotherapie, von einer mittelschweren depressiven Störung und einer vollen Arbeitsunfähigkeit ausgegangen. Angesichts der von ihm erhobenen Befunde erscheine dies als nicht nachvollziehbar. Dass die in den Vordergrund getretenen psychosozialen und soziokulturellen Faktoren zu depressiven Verstimmungszuständen geführt hätten, sei begreiflich. Mangels Befunden, welche eine eigenständige Depression mindestens mittleren Grades begründen würden, sei aber davon auszugehen, dass die psychischen Beschwerden in den psychosozialen Faktoren ihre hinreichende Erklärung finden. Anhaltspunkte für das Vorliegen von Umständen, welche rechtsprechungsgemäss die diagnostizierte "somatoforme Schmerzstörung und deren Folgen ausnahmsweise als unüberwindbar erscheinen liessen", seien nicht ersichtlich. Was die rheumatologische Beurteilung angehe, so lege Dr. med. G._ von der Begutachtungsstelle D._ überzeugend dar, dass die angegebenen äusserst diffusen Beschwerden durch die klinischen und radiologischen Befunde kaum begründbar seien und aus rheumatologischer Sicht von einer vollen Arbeitsfähigkeit für körperlich leichte bis mittelschwere Tätigkeiten auszugehen sei.
2.2. Der Beschwerdeführer rügt, die Feststellung, er sei seit dem 14. April 2004 in einer behinderungsangepassten, körperlich leichten bis mittelschweren Tätigkeit unter Wechselbelastung, ohne Heben und Tragen von Lasten über 15 kg und ohne häufige Überkopfmanöver, zu 100 % arbeitsfähig, sei offensichtlich unrichtig und willkürlich. So habe der Experte der Begutachtungsstelle D._ Dr. med. G._ festgestellt, dass sich der Befund im Vergleich zu dem Zustand, wie er im Gutachten der MEDAS vom 5. Oktober 2007 beschrieben worden sei, positiv verändert habe. Bei seiner These, spätestens sechs Monate nach der am 14. Oktober 2003 erfolgten zervikalen Spondylodese sei von einer vollschichtigen Arbeitsfähigkeit für körperlich leichte bis mittelschwere Tätigkeiten auszugehen, handle es sich offenkundig nicht um eine wissenschaftlich anerkannte Erfahrungsregel, da sich keine anderen Fachärzte darauf berufen hätten. Mit ihrer Erwägung, den Berichten des behandelnden Psychiaters Dr. med. F._ komme kein Beweiswert zu, da die von ihm beschriebenen Befunde nicht geeignet erscheinten, die Diagnose und die attestierte Arbeitsfähigkeit zu erklären, gehe die Vorinstanz eindeutig zu weit; die Beurteilung des psychischen Gesundheitszustandes bedürfe zweifellos eines besonderen Fachwissens, welches dem medizinischen Laien fehle. Für die Bemessung des Invaliditätsgrades ab Juni 2004 sei auf das Gutachten der MEDAS abzustellen, zumal die Gutachter der Begutachtungsstelle D._ dessen Erkenntnisse nicht in Frage stellen würden.
2.3. Als Berufsvorsorgeversicherer erklärt die Pensionskasse B._, der Observationsbericht vom 19. Mai 2008 und die zusätzlichen Abklärungen hätten zahlreiche Diskrepanzen zwischen dem vom Beschwerdeführer angegebenen Beschwerdebild und dem in unbeobachteten Momenten tatsächlich gezeigten Verhalten offengelegt. Nach Rückweisung zu weiteren Abklärungen durch das kantonale Gericht seien die Gutachter der Begutachtungsstelle D._ zum Schluss gekommen, dass aus psychiatrischer Sicht keine Einschränkung der Arbeitsfähigkeit bestehe. Insbesondere sei aufgrund der Blutuntersuchung festgehalten worden, dass die Antidepressiva unregelmässig oder gar nicht eingenommen würden. Aus orthopädischer Sicht sei ein unspezifisches panvertebrales Schmerzsyndrom ohne radikuläre Symptomatik festgestellt worden. Die Gutachter seien bis zum 14. April 2004 von einer Arbeitsunfähigkeit ausgegangen. Aus dem Bericht des Gutachters der Begutachtungsstelle D._ Dr. med. G._, der eine entspannte Nackenmuskulatur, eine freie Beweglichkeit sämtlicher Wirbelsäulenabschnitte und eine gute Kraftentfaltung aller Extremitäten festgestellt habe, gehe klar hervor, dass nicht eine Besserung der Arbeitsfähigkeit vorgelegen habe, sondern die Beschwerden nie hätten bestätigt werden dürfen. Für eine Besserung des Gesundheitszustandes nach Vorliegen des Observationsberichtes bestünden keinerlei Anhaltspunkte. Die Vorinstanz habe schlüssig dargelegt, weshalb auf die Beurteilung durch den psychiatrischen Experten Dr. med. E._ abgestellt werden könne. Der behandelnde Arzt Dr. med. F._ habe sich fachfremd geäussert.
3.
3.1. Das Gutachten der MEDAS vom 5. Oktober 2007 erachtete dem Versicherten eine leidensangepasste Tätigkeit noch zu 70 % der Norm zumutbar, wobei sich diesbezüglich vor allem die rheumatologischen, weniger auch die psychischen Störungen als limitierende Faktoren erwiesen. Ab dem 26. Februar 2004 sei von einer 50%igen Arbeitsfähigkeit auszugehen, ab dem 13. Juli 2007 von einer 70%igen Arbeitsfähigkeit. Dagegen erachtet das Gutachten der Begutachtungsstelle D._ vom 30. März 2011 den Beschwerdeführer in einer körperlich leichten bis mittelschweren, wechselbelastenden Tätigkeit als zu 100 % arbeits- und leistungsfähig. Für die Diskrepanz zwischen dem Ausmass der subjektiv geklagten Beschwerden und den objektivierbaren Befunden verantwortlich sei eine anhaltende somatoforme Schmerzstörung. Es sei davon auszugehen, dass aus rein psychiatrischer Sicht ab der MEDAS-Begutachtung vom 5. Oktober 2007 höchstens eine 25%ige Arbeitsunfähigkeit bestanden habe. Sicher ab dem Zeitpunkt des Gutachtens der Begutachtungsstelle D._ vom 30. März 2011, wahrscheinlich aber schon seit August 2008 bestehe aus psychiatrischer Sicht eine volle Arbeitsfähigkeit. Medizinische Massnahmen mit Chancen auf eine Ausweitung des zumutbaren Tätigkeitsprofils könnten nicht empfohlen werden. Berufliche Massnahmen seien angesichts der fixierten Krankheits- und Invaliditätsüberzeugung des Exploranden nicht sinnvoll durchführbar.
3.2. Die vorinstanzliche Feststellung, dass die Beschwerdegegnerin aufgrund der Schlussfolgerungen im Gutachten der Begutachtungsstelle D._ vom 30. März 2011 befunden habe, der Beschwerdeführer sei in einer körperlich leichten bis mittelschweren, wechselbelastenden Tätigkeit zu 100 % arbeits- und leistungsfähig, bleibt für das Bundesgericht verbindlich. Denn sie ist aufgrund einer einlässlichen Würdigung zustande gekommen, welche die gesamte medizinisch-psychiatrische Aktenlage umfasst, was als Entscheidung über eine Tatfrage (Urteil I 692/06 vom 19. Dezember 2006 E. 3.1) das Bundesgericht bindet (E. 1). Eine qualifiziert unzutreffende (unhaltbar, willkürlich; <ref-ruling> E. 2.1 S. 211) Sachverhaltsfeststellung im Sinne von <ref-law> liegt klarerweise nicht vor und ist auch aus der Beschwerdeschrift nicht ersichtlich: Der Haupteinwand der Beschwerde (S. 4 ff.), die (rheumatologische) Begutachtung der Begutachtungsstelle D._ vom 9. Februar 2011 ziehe die Expertise der MEDAS vom 16. Juli 2007 nicht in Zweifel, indem aus den diesbezüglichen Darlegungen des Dr. med. G._ seither eingetretene entscheidende Veränderungen hervorgingen, welche "erst ab Februar 2011 eine abweichende Beurteilung der Arbeitsfähigkeit rechtfertigten" (Beschwerde S. 6), übersieht zum Einen, dass es sich dabei lediglich um ein Element im gesamten Kontext der medizinisch dokumentierten Aktenlage handelt und zum Andern, dass der Beweiswert der erwähnten MEDAS-Expertise durch die im weiteren Versicherungsverlauf an den Tag gebrachten Erkenntnisse empfindlich geschmälert wurde. Denn hätten die MEDAS-Aerzte im Juli 2007 um die Ergebnisse der Observation (22. April bis 18. Mai 2008 und 22. bis 25. Mai 2008) bei ihrer abschliessenden Beurteilung gewusst, wäre diese erheblich anders ausgefallen. Anders als in der ärztlichen Untersuchung zeigte der Beschwerdeführer, sich unbeobachtet wähnend, im Frühjahr 2008 ein unbehindertes Verhalten in Alltag und Freizeit (angefochtener Entscheid, S. 14 ff.), was die Annahme einer bloss 70%igen Arbeitsfähigkeit für angepasste Tätigkeiten aus rheumatologisch-orthopädisch und/oder psychiatrischen Gründen zumindest so sehr verunsichert, dass darauf nicht abgestellt werden kann, zumal für eine in der Zeit von Juli 2007 bis April 2008 eingetretene Verbesserung des gesundheitlichen Leistungsvermögens keinerlei Anhaltspunkte ersichtlich sind. Damit ist auch den weiteren Einwänden in der Beschwerde, insbesondere der gerügten fehlenden Berücksichtigung echtzeitlicher Berichte und der abweichenden Auffassung des den Beschwerdeführer seit Februar 2009 behandelnden Psychiaters, die Grundlage entzogen. Im Rahmen einer zulässigen retrospektiven Prüfungsweise ist vielmehr festzustellen, dass die tatsächlichen Voraussetzungen für eine (teil-) invalidisierende psychische oder physische Gesundheitsbeeinträchtigung über Ende Juni 2004 hinaus durch die beigezogenen medizinischen Sachverständigen, insbesondere das Gutachten der Begutachtungsstelle D._ vom 30. März 2011, nicht bewiesen werden konnten. In umstrittenen Fällen wie dem hier vorliegenden kann es in Anbetracht der Verschiedenheit von Behandlungs- und Begutachtungsauftrag (statt vieler Urteil 9C_799/2012 E. 2.3 vom 16. Mai 2013) nicht Sache der therapeutisch tätigen Arztpersonen sein, zur Arbeitsunfähigkeit verbindlich Stellung zu nehmen.
4.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Pensionskasse B._, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. September 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Schmutz