Sachverhalt: A. A._, geboren 1952, arbeitete als Betriebsmitarbeiter in der Firma C._ AG. Am 25. März 2004 meldete er sich unter Angabe eines HWS-Distorsionstraumas, zervikaler Diskushernien C5/C6 und C6/C7 und eines Status nach zervikospondylogenem Schmerzsyndrom mit Schmerzausbreitung C6+C7 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich klärte die medizinischen und wirtschaftlichen Verhältnisse ab. Sie veranlasste ein Gutachten der Medizinischen Abklärungsstelle (MEDAS) (vom 5. Oktober 2007). Mit Verfügung vom 5. Dezember 2008 wies sie, auch gestützt auf einen von der Basler Versicherung veranlassten Observationsbericht vom 19. Mai 2008, das Leistungsbegehren ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich am 25. Mai 2010 insoweit gut, als es die Sache zur erneuten Abklärung des rheumatologischen und psychiatrischen Gesundheitszustandes an die IV-Stelle zurückwies. In der Folge holte die IV-Stelle weitere Arztberichte ein und beauftragte die Begutachtungsstelle D._ mit der Erstellung eines polydisziplinären Gutachtens (vom 30. März 2011). Mit Vorbescheid vom 11. Oktober 2011 und Verfügung vom 5. Juni 2012 sprach sie A._ ab 1. November 2003 befristet bis zum 30. Juni 2004 eine ganze Invalidenrente zu. B. Die Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. Februar 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen. Er beantragt, die IV-Stelle sei zu verpflichten, ihm über den 30. Juni 2004 hinaus eine angemessene Invalidenrente auszurichten. Die IV-Stelle und die Pensionskasse B._ beantragen die Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.