Sachverhalt:
A.
A.a. Der 1960 geborene A._ arbeitete als Hausdienstmitarbeiter im Spital B._. Im Oktober 2002 meldete er sich nach einem Anfang Januar des gleichen Jahres erlittenen Autounfall wegen Nacken- und Armschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich verneinte einen Rentenanspruch gestützt auf eine polydisziplinäre Expertise des Medizinischen Zentrums Römerhof (nachfolgend: MZR), Zürich, vom 31. Januar 2007. Die entsprechende Verfügung vom 19. Oktober 2007 hob das Sozialversicherungsgericht des Kantons Zürich unter Berücksichtigung einer vom Beschwerdeführer veranlassten Expertise des Instituts für Interdisziplinäre Medizinische Begutachtungen (IIMB; Gutachten vom 14. November 2007), Zürich, am 27. Februar 2009 auf und wies die Sache an die Verwaltung zurück.
A.b. Die IV-Stelle holte bei der Klinik C._ eine ergänzende Expertise vom 29. Juli 2010 ein und wies das Leistungsbegehren in der Folge mit Verfügung vom 14. April 2011 wiederum ab. Die dagegen erhobene Beschwerde hiess das kantonale Gericht insoweit gut, als es ergänzende medizinische Abklärungen weiterhin als angezeigt erachtete (Urteil vom 12. November 2012).
A.c. Im Zuge der erneuten Rückweisung veranlasste die IV-Stelle bei der Klinik D._ eine stationäre Begutachtung (Expertise vom 23. April 2014) und führte zudem Eingliederungsmassnahmen durch. Nach Berichterstattung der behandelnden Ärzte und Einholung eines polydiszplinären Gutachtens beim BEGAZ Begutachtungszentrum, Binningen, vom 5. Februar 2018 (samt ergänzender Stellungnahme vom 15. Oktober 2018), sprach die Verwaltung A._ mit Verfügung vom 10. April 2019 ab 1. Juni 2016 eine halbe Invalidenrente zu (Invaliditätsgrad: 52 %).
B.
Die dagegen erhobene Beschwerde des A._ hiess das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 30. Juni 2020 teilweise gut und änderte die Verfügung vom 10. April 2019 insoweit ab, als es den Rentenbeginn für die halbe Invalidenrente auf 1. November 2015 festlegte. Im Übrigen wies das kantonale Gericht die Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Urteils sei ihm bereits ab 1. Januar 2003 eine halbe Invalidenrente zuzusprechen; eventualiter sei die Sache zur weiteren Abklärung an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Das kantonale Gericht hat die gesetzlichen Grundlagen zur Invalidität und Erwerbsunfähigkeit (Art 7 f. ATSG) sowie zum Rentenanspruch und dessen Umfang (Art. 28 Abs. 1 und 2 IVG) zutreffend dargelegt. Korrekt sind auch die Ausführungen über Funktion und Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a), insbesondere was die Expertisen externer Spezialärzte anbelangt, welche im Rahmen des Verwaltungsverfahrens (vgl. <ref-law>) eingeholt wurden (<ref-ruling> E. 1.3.4; <ref-ruling> E. 4.4), und betreffend den im Sozialversicherungsrecht geltenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b mit Hinweisen). Darauf wird verwiesen.
3.
3.1. Im Sozialversicherungsverfahren gelten der Untersuchungsgrundsatz sowie der Grundsatz der freien Beweiswürdigung (Art. 43 Abs. 1 und Art. 61 lit. c ATSG). Der rechtserhebliche Sachverhalt ist von Amtes wegen unter Mitwirkung der Versicherten respektive der Parteien zu ermitteln. In diesem Sinne rechtserheblich sind alle Tatsachen, von deren Vorliegen es abhängt, ob über den streitigen Anspruch so oder anders zu entscheiden ist (SVR 2013 IV Nr. 44 S. 134, 8C_441/2012 E. 6.1.1). Der Verzicht auf weitere Abklärungen oder im Beschwerdefall auf Rückweisung der Sache zu diesem Zweck (antizipierte Beweiswürdigung) verletzt etwa dann Bundesrecht (<ref-law>), wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (statt vieler: Urteile 8C_344/2016 vom 23. Februar 2017 E. 2.1; 8C_624/2016 vom 25. November 2016 E. 2.1).
3.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit handelt es sich um eine Tatfrage (<ref-ruling> E. 3.2). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes Rechtsfragen (Urteil 9C_579/2014 vom 10. August 2015 E. 1.3).
3.3. Eine Beweiswürdigung ist nicht bereits dann willkürlich (vgl. dazu <ref-ruling> E. 2.1 mit Hinweisen), wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (<ref-ruling> E. 2.4 mit Hinweisen).
4.
4.1. Es steht fest und ist unbestritten, dass der Beschwerdeführer Anspruch auf eine halbe Invalidenrente hat. Fraglich ist einzig, ob die Vorinstanz Bundesrecht verletzt hat, indem sie den Rentenbeginn auf den 1. November 2015 festlegte.
4.2. Die Vorinstanz hat der polydisziplinären BEGAZ-Expertise vom 5. Februar 2018 Beweiskraft beigemessen. Sie hat erwogen, gestützt darauf könne jedoch nicht mit überwiegender Wahrscheinlichkeit auf eine seit 1. Januar 2003 unverändert bestehende 50%ige Arbeitsunfähigkeit in behinderungsangepasster Tätigkeit geschlossen werden. Laut Gutachten sei der Beginn der Arbeitsunfähigkeit "arbiträr" ab Januar 2003 anzunehmen. Die Verwendung dieses Begriffs deute auf die von den Gutachtern selber festgestellten Unsicherheiten und Unklarheiten betreffend den Verlauf der Arbeitsfähigkeit hin. Mit "arbiträr" sei wohl auch ein Mittelweg zwischen den verschiedenen, im Laufe der Zeit erstellten Beurteilungen gewählt worden, welche teils von einer höheren, teils von einer tieferen Einschränkung ausgegangen seien. Demgegenüber enthalte die BEGAZ-Expertise keine konkreten Indizien, welche (rückwirkend) Zweifel an der durch die Klinik D._ vorgenommenen Einschätzung wecken könnten (vgl. Gutachten vom 23. April 2014), wonach dem Beschwerdeführer eine leichte bis mittelschwere Tätigkeit ab Januar 2003 zu 85 % zumutbar sei. Ab Juni 2015 sei die Verschlechterung des Gesundheitszustands anhand der im Magnetic resonance imaging (nachfolgend: MRI) vom 22. Juni 2015 ersichtlichen erheblichen degenerativen Veränderungen der Halswirbelsäule (nachfolgend: HWS) erstellt und die Anspruchsvoraussetzungen (vgl. <ref-law>) für die halbe Invalidenrente erfüllt. Nachdem der Beschwerdeführer bis zum Abschluss des Aufbautrainings bei der E._, am 24. November 2015 IV-Taggelder bezogen habe (vgl. Art. 29 Abs. 2 und 3 IVG), bestehe der Rentenanspruch ab 1. November 2015.
5.
Was der Beschwerdeführer dagegen vorbringt, lässt diese Beurteilung nicht als bundesrechtswidrig erscheinen.
5.1. Das kantonale Gericht hat sich bei der Gewichtung der retrospektiven Angaben durchaus die gebotene Zurückhaltung auferlegt und die entsprechenden Aussagen des neurologischen BEGAZ-Experten Dr. med. F._, wie vom Beschwerdeführer selber geltend gemacht, auf Übereinstimmung mit den echtzeitlichen Akten überprüft (vgl. dazu: Urteil 8C_418/2010 vom 27. August 2010 E. 5.3.2 mit Hinweis). Dementsprechend hat die Vorinstanz die vorhandenen Berichte und Gutachten detailliert gewürdigt und begründet, weshalb die hier interessierende Einschätzung des genannten Gutachters, es bestehe ("arbiträr") bereits seit Januar 2015 (unverändert) eine 50%ige Arbeitsunfähigkeit für angepasste Tätigkeiten (vgl. BEGAZ-Gutachten, S. 108), nicht übernommen werden kann:
5.2.
5.2.1. Diesbezüglich hat das kantonale Gericht insbesondere erwogen, das MZR-Gutachten vom 31. Januar 2007 sei in Bezug auf die Arbeitsfähigkeit aus somatischer Sicht umfassend, sodass der damalige Verzicht auf neurologische und neuropsychologische Abklärungen nicht zu beanstanden sei (vgl. Urteil vom 27. Februar 2009). Es hat sodann verbindlich (E. 1) festgestellt, dannzumal sei beim Beschwerdeführer ein diffuses, den ganzen Körperstamm betreffendes Schmerzbild (Ganzkörperschmerzsyndrom) diagnostiziert worden, für welches sich weder klinisch noch radiologisch ein plausibles und pathologisch-anatomisch definierbares Korrelat habe finden lassen, wohingegen die degenerativen HWS-Veränderungen alterskonform gewesen seien. Vor diesem Hintergrund ist weder ersichtlich noch in der Beschwerde (substanziiert) dargelegt, dass die Arbeitsfähigkeit des Beschwerdeführers aufgrund der degenerativen HWS-Veränderungen bis im Jahr 2007 nennenswert beeinträchtigt gewesen wäre. Ebenso wenig kann den Beurteilungen der behandelnden Ärzte der Klinik G._, wie sie im rheumatologischen Gutachten der Klinik D._ aufgelistet sind, ein mit der Bildgebung vom Juni 2015 (Beurteilung: "Multisegmentale schwere Degeneration. Als Hauptbefund schwere Spinalkanalstenose C3/4, C4/5 und C5/6 sowie schwere Foramenstenose C3/4 links und C4-C6 rechts") vergleichbarer Befund entnommen werden. So zeigte ein MRI vom 29. Dezember 2011 lediglich eine mittelgradige Bandscheibendegeneration der mittleren (unteren) HWS-Segmente ohne Anhaltspunkte für akute oder chronisch entzündliche Veränderungen (vgl. Bericht vom 11. Januar 2012).
5.2.2. Dass die Vorinstanz sodann betreffend den weiteren Verlauf das rheumatologische (Teil-) Gutachten der Klinik D._ vom 20. März 2014 herangezogen hat, ist entgegen der Auffassung des Beschwerdeführers gleichfalls nicht zu beanstanden. Die dortige Einschätzung des PD Dr. med. H._, wonach eine Arbeitsfähigkeit von 85 % für angepasste Tätigkeiten ausgewiesen ist, stimmt immerhin mit der rheumatologischen BEGAZ-Expertise des Dr. med. I._ überein (vgl. BEGAZ-Gutachten, S. 46). Ein klarer Widerspruch zur tatsächlichen Situation liegt somit nicht vor, was eine willkürliche Beweiswürdigung ausschliesst (vgl. E. 3.3). Dies gilt umso mehr, als der neurologische BEGAZ-Sachverständige Dr. med. F._ selber ausführte, die degenerativen HWS-Veränderungen seien als massgeblicher Faktor für die Arbeitsunfähigkeit erst "im Verlauf zunehmend in den Vordergrund getreten". Inwieweit schliesslich anhand der von Mai bis November 2015 bei der we -care durchgeführten Potenzialabklärung auf eine klar rechtsfehlerhafte Beweiswürdigung geschlossen werden müsste, ist - anders als der Beschwerdeführer meint - nicht zu erkennen. Im Gegenteil hat die Vorinstanz deren Resultate berücksichtigt und zudem eine 50%ige Arbeitsunfähigkeit für angepasste Tätigkeiten ab Juni 2015 anerkannt, wobei der Beschwerdeführer bis zum Abschluss der Massnahme im November 2015 Taggelder bezog.
5.3. Nach dem Gesagten ist die zentrale Aussage im angefochtenen Urteil, beim Beschwerdeführer liege ein degeneratives Geschehen vor, welches nicht durch einen während Jahren unveränderten, sondern sich kontinuierlich verschlechternden Gesundheitszustand charakterisiert sei, aufgrund der echtzeitlichen Akten nachvollziehbar. Die Feststellung einer erst ab Juni 2015 (überwiegend wahrscheinlich) erstellten Verschlechterung des Gesundheitszustands des Beschwerdeführers bleibt somit rechtlich verbindlich. Auch anhand der sonstigen Vorbringen in der Beschwerde sind keine Mängel in der vorinstanzlichen Sachverhaltsfeststellung oder Beweiswürdigung zu erkennen. Damit durfte das kantonale Gericht auf weitere Abklärungen verzichten, ohne Bundesrecht zu verletzen (antizipierte Beweiswürdigung; <ref-ruling> E. 6.5; <ref-ruling> E. 5.3).
6.
Betreffend den nach willkürfreier (E. 1) Sachverhaltsfeststellung der Vorinstanz bis am 24. November 2015 andauernden Taggeldbezug des Beschwerdeführers respektive den folglich vom kantonalen Gericht auf 1. November 2015 datierten Rentenbeginn (vgl. Art. 29 Abs. 2 und 3 IVG) ist der Beschwerde nichts zu entnehmen. Nachdem kein offensichtlicher Rechtsfehler vorliegt (vgl. <ref-ruling> E. 1 mit Hinweisen), hat es damit sein Bewenden.
7.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. September 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Stadelmann
Der Gerichtsschreiber: Grünenfelder