Sachverhalt:
A.
Der 1966 geborene A._ war bei der B._ AG als Fassaden-Gruppenführer angestellt. Am 5. Februar 1998 erlitt er bei einem Sturz von einem Gerüst eine Fraktur des linken Hüftgelenks und linken Ellbogens. Im Juni 2003 meldete er sich wegen Ellbogen- und Hüftbeschwerden bei der IV-Stelle Bern zum Leistungsbezug an. Am 23. Mai 2004 zog er sich bei einem Sturz eine Unterschenkelfraktur rechts zu. Die IV-Stelle holte unter anderem ein orthopädisches Gutachten vom 6. Februar 2005 ein und sprach ihm mit Verfügungen vom 19. Oktober und 21. November 2007 ab 1. Oktober 2003 eine halbe Invalidenrente (Invaliditätsgrad 53 %) zu. Seine Beschwerden hiess das Verwaltungsgericht des Kantons Bern am 2. Juni 2008 gut und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Diese holte ein orthopädisches Gutachten vom 28. März 2009 ein. Im Februar, März und Juni 2010 liess sie den Versicherten observieren (Bericht vom 14. Juni 2010); zudem zog sie Berichte des Dr. med. C._, Facharzt für Orthopädische Chirurgie, Regionaler Ärztlicher Dienst (RAD) der IV-Stelle, vom 30. August und 8. September 2010 bei. Mit Verfügung vom 15. April 2011 sprach sie dem Versicherten ab 1. Oktober 2003 eine Viertelsrente (Invaliditätsgrad 46 %) zu. Seine Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. Oktober 2011 bei einem Invaliditätsgrad von 40 % ab. In teilweiser Gutheissung seiner Beschwerde hob das Bundesgericht diesen Entscheid auf. Es wies die Sache an die Vorinstanz zurück, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, neu entscheide. Im Übrigen wies es die Beschwerde ab (Urteil 8C_866/2011 vom 27. März 2012).
B.
Das kantonale Gericht holte ein Gutachten des PD Dr. med. D._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates FMH, vom 23. Oktober 2015 ein. Am 7. Januar 2016 reichte die IV-Stelle Ergänzungsfragen ein. Am 27. Juli 2016 beantwortete PD Dr. med. D._ diese. Am 20. September 2016 beantragte der Versicherte seinerseits, Zusatzfragen an den Gutachter stellen zu dürfen, was das kantonale Gericht mit Verfügung vom 29. September 2016 ablehnte. Mit Entscheid vom 16. Dezember 2016 wies es die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des kantonalen Entscheides seien die Observationsakten aus dem Recht zu weisen; die Sache sei zur Durchführung eines Beweisverfahrens und zum Erlass eines neuen Entscheides an die Vorinstanz zurückzuweisen; eventuell sei die IV-Stelle zu verpflichten, ihm ab 1. Oktober 2003 Rentenleistungen bei einem Invaliditätsgrad von mehr als 60 % auszurichten.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen, die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit und bei der konkreten Beweiswürdigung geht es um Sachverhaltsfragen (nicht publ. E. 1 des Urteils <ref-ruling>).
2.
Das kantonale Gericht hat richtig erkannt, dass in zeitlicher Hinsicht grundsätzlich diejenigen (materiellen) Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung hatten (<ref-ruling> E. 3.1.1 S. 220). Zudem ist ihm beizupflichten, dass weder das am 1. Januar 2003 in Kraft getretene ATSG noch die am 1. Januar 2004 in Kraft getretene 4. IV-Revision noch die am 1. Januar 2008 in Kraft getretene 5. IV-Revision substanzielle Änderungen bei der Invaliditätsbemessung gebracht haben (<ref-ruling>; SVR 2009 IV Nr. 28 S. 79, 8C_576/2008 E. 2.2; Urteil 8C_106/2013 vom 31. Mai 2013 E. 2). Weiter hat die Vorinstanz die rechtlichen Grundlagen betreffend die Erwerbsunfähigkeit (Art. 7 Abs. 1 ATSG), die Invalidität (Art. 8 Abs. 1 ATSG), den Rentenanspruch (Art. 28 Abs. 1 und 1 bis IVG in der bis Ende 2003 gültig gewesenen Fassung; Art. 28 Abs. 2 IVG in der seit 1. Januar 2008 geltenden Fassung), die Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG) und die Rechtsprechung zum Beweiswert von Gerichtsgutachten (<ref-ruling> E. 4.4 S. 469) richtig dargelegt. Darauf wird verwiesen.
3.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es dem Beschwerdeführer in Bestätigung der Verfügung der IV-Stelle vom 15. April 2011 ab 1. Oktober 2003 eine Viertelsrente zusprach.
Hinsichtlich des Gesundheitszustands bzw. der Arbeitsfähigkeit erwog es im Wesentlichen, das Gerichtsgutachten des PD Dr. med. D._ vom 23. Oktober 2015 und seine Ergänzung vom 27. Juli 2016 erfüllten die praxisgemässen Anforderungen an eine medizinische Beurteilungsgrundlage, weshalb darauf abzustellen sei. Demnach leide der Beschwerdeführer an einer fortgeschrittenen posttraumatischen/postoperativen Ellbogenarthrose mit einer mässigen Bewegungseinschränkung und einer schmerzbedingten Verminderung der Belastbarkeit. Seine Beschwerden an der linken Hüfte könnten hingegen nicht erklärt werden. Die Angaben des Versicherten betreffend stark verminderte Belastbarkeit des linken Ellbogens und massiv verkürzter Gehstrecke wegen Schmerzen in der linken Hüfte stünden im Widerspruch zu den Beobachtungen während seiner Observation. Die Arbeit als Fassadenmonteur sei dem Versicherten aufgrund der Ellbogenarthrose nicht mehr zumutbar. Zumutbar sei ihm seit 5. Februar 1998 ein volles Arbeitspensum in einer angepassten leichten Tätigkeit mit einer maximalen Leistungseinschränkung von 20 % wegen Verlangsamung und Bewegungseinschränkung im Bereich des linken Arms und wegen vermehrten Pausen von Seiten der linken Hüfte.
4.
4.1. Der Beschwerdeführer stützt seinen Antrag, die Observationsakten seien aus dem Recht zu weisen, auf ein Urteil des Europäischen Gerichtshofs für Menschenrechte (EGMR; dritte Kammer) vom 18. Oktober 2016 in Sachen Vukota-Bojic gegen die Schweiz (61838/10).
4.2. Darin befand der EGMR über die EMRK-Konformität einer Observation, die im Auftrag eines (sozialen) Unfallversicherers durch einen Privatdetektiv überwacht worden war. Er erkannte, dass mit Art. 28 und Art. 43 ATSG sowie mit Art. 96 UVG, trotz des durch Art. 28 ZGB und Art. 179quater StGB vermittelten Schutzes von Persönlichkeit und Privatbereich, eine ausreichende gesetzlichen Grundlage für eine Observation nicht besteht, weshalb er auf eine Verletzung von Art. 8 EMRK (Recht auf Achtung des Privatlebens) schloss (Rz. 72 ff. des EGMR-Urteils 61838/10 vom 18. Oktober 2016). Hingegen verneinte er eine Verletzung von Art. 6 Ziff. 1 EMRK (Gebot eines fairen Verfahrens) durch die erfolgte Verwendung der Observationsergebnisse. Dafür war ausschlaggebend, dass bei der Beurteilung des Leistungsanspruchs im Rahmen des streitigen sozialversicherungsrechtlichen Verfahrens nicht allein auf sie abgestellt wurde und seitens der versicherten Person Einwände möglich waren, namentlich gegen ihre Echtheit und Verwendung sowie bezüglich der Beweiseignung und -qualität. Als bedeutsam galten zudem die Umstände, unter denen der Beweis gewonnen wurde und welchen Einfluss dieser auf den Verfahrensausgang hatte (Rz. 91 ff. des EGMR-Urteils 61838/10 vom 18. Oktober 2016).
4.3.
4.3.1. Das Bundesgericht seinerseits hat nunmehr unter Berücksichtigung der betreffenden Erwägungen des EGMR entschieden, dass es trotz Art. 59 Abs. 5 IVG ("Zur Bekämpfung des ungerechtfertigten Leistungsbezugs können die IV-Stellen Spezialisten beiziehen") auch im Bereich der Invalidenversicherung an einer ausreichenden gesetzlichen Grundlage fehlt, die die Observation umfassend klar und detailliert regelt. Folglich verletzen solche Handlungen, seien sie durch den Unfallversicherer oder durch eine IV-Stelle veranlasst, Art. 8 EMRK bzw. den einen im Wesentlichen gleichen Gehalt aufweisenden Art. 13 BV. Insofern kann insbesondere auch an <ref-ruling> nicht weiter festgehalten werden (vgl. zum Ganzen: Urteil 9C_806/2016 vom 14. Juli 2017, zur Publikation vorgesehen).
4.3.2. Was die Verwendung des im Rahmen der widerrechtlichen Observation gewonnenen Materials anbelangt, richtet sich diese allein nach schweizerischem Recht. Der EGMR prüft dabei nur, ob ein Verfahren insgesamt fair im Sinne von Art. 6 Abs. 1 EMRK gewesen ist (vgl. E. 4.2 hiervor). In diesem Zusammenhang hat das Bundesgericht im soeben vermerkten Urteil 9C_806/2016 im Wesentlichen erkannt, dass die Verwertbarkeit der Observationsergebnisse (und damit auch der gestützt darauf ergangenen weiteren Beweise) grundsätzlich zulässig ist, es sei denn, bei einer Abwägung der tangierten öffentlichen und privaten Interessen würden diese überwiegen (vgl. E. 5.1.1). Mit Blick auf die gebotene Verfahrensfairness hat es sodann in derselben Erwägung eine weitere Präzisierung angebracht: Unter Hinweis auf das Urteil 8C_239/2008 vom 17. Dezember 2009 E. 6.4.2 Abs. 2 und die darin enthaltene Anlehnung an die strafprozessuale Rechtsprechung (vgl. <ref-ruling> E. 4.2 S. 279) hat es daran erinnert, dass eine gegen Art. 8 EMRK verstossende Videoaufnahme verwertbar ist, solange Handlungen des "Beschuldigten" aufgezeichnet werden, die er aus eigenem Antrieb und ohne äussere Beeinflussung machte und ihm keine Falle gestellt worden war. Ferner hat es erwogen, dass von einem absoluten Verwertungsverbot wohl immerhin insoweit auszugehen ist, als es um Beweismaterial geht, das im nicht öffentlich frei einsehbaren Raum zusammengetragen wurde, was im konkreten Fall jedoch nicht zu beurteilen war (vgl. E. 5.1.3 mit Hinweis auf Urteil 8C_830/2011 vom 9. März 2012 E. 6.4).
4.3.3. Bei seinem Entscheid, die Verwertbarkeit des rechtswidrig erlangten Observationsmaterials hauptsächlich von einer Interessenabwägung zwischen privaten und öffentlichen Interessen abhängen zu lassen, war für das Bundesgericht nebst anderem die Annahme ausschlaggebend, dass das Manko hinsichtlich einer in allen Belangen genügenden gesetzlichen Grundlage rasch behoben werden soll (vgl. E. 5.1.1 des Urteils 9C_806/2016 mit Hinweis auf den erläuternden Bericht des BSV vom 22. Februar 2017 zur Eröffnung des Vernehmlassungsverfahrens über die Revision des ATSG, S. 5 f. unten). In rechtlicher Hinsicht hat es zudem auf Art. 152 Abs. 2 der am 1. Januar 2011 in Kraft getretenen schweizerischen Zivilprozessordnung verwiesen (vgl. dazu <ref-ruling> E. 3.1 S. 8 f. mit Hinweisen), mit der nebst dem Strafprozessrecht ein weiterer Teil des Verfahrensrechts aktualisiert wurde.
4.3.4. Die so für den Bereich des sozialversicherungsrechtlichen Verwaltungsverfahrens gewonnene Lösung mit einer Abwägung der infrage stehenden Interessen entspricht inhaltlich dem Konzept, das der Gesetzgeber für den Bereich des Zivilrechts gemäss Art. 28 Abs. 2 ZGB verfolgt. Es verträgt sich zudem mit Stimmen im öffentlich-rechtlichen Schrifttum, die in diesem Zusammenhang - nebst der Interessenabwägung - folgerichtig auch die Unverletzlichkeit des Kerngehalts der Grundrechte vorbehalten (vgl. KÖLZ/HÄNER/BERTSCHI, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 3. Aufl. 2013, S. 169 Rz. 481).
4.4. In diesem Lichte ist zum Begehren des Beschwerdeführers Folgendes zu erwägen:
4.4.1. Die IV-Stelle liess den Beschwerdeführer im Februar, März und Juni 2010 an einzelnen Tagen observieren, was mit Video festgehalten wurde; zudem fanden die wesentlichen Beobachtungen Eingang in einen schriftlichen Bericht vom 14. Juni 2010. Anlass zu dieser Vorkehr hatte ein Verdacht des Dr. med. C._ vom RAD gegeben, wonach der Versicherte die geltend gemachten Beschwerden aggraviere, wenn nicht gar simuliere. In dieser Hinsicht war die Observation aufgrund konkreter Anhaltspunkte objektiv geboten (vgl. <ref-ruling> E. 5.4.2.1 S. 332). Dies hat das Bundesgericht bereits in seinem (den Beschwerdeführer betreffenden) Urteil vom 8C_866/2011 vom 27. März 2012 (vgl. E. 3.1) klargestellt und wird im Übrigen auch durch die jüngste Entwicklung der Rechtsprechung nicht in Frage gestellt.
Im Rahmen desselben Urteils befasste sich das Bundesgericht ebenso mit der im Lichte von Art. 6 Ziff. 1 EMRK bedeutsamen Behauptung des Beschwerdeführers, es sei während eines Einkaufs in einem Laden von der Überwachungsperson mutwillig der Pneu seines Fahrrads beschädigt worden, weshalb er dieses habe nach Hause schieben müssen. Dabei hat es erkannt, die nach Würdigung des Bildmaterials ergangenen vorinstanzlichen Feststellungen zum diesbezüglichen Sachverhalt seien nicht offensichtlich unrichtig, weshalb das kantonale Gericht zu Recht nicht auf ein Verwertungsverbot der Abklärungsergebnisse aufgrund der geäusserten Vermutungen geschlossen habe (vgl. E. 3.3 des Urteils 8C_866/2011 vom 27. März 2012). Darauf ist hier ebenfalls nicht mehr zurückzukommen. Der Beschwerdeführer greift diesen Gesichtspunkt denn auch gar nicht mehr auf. Ebenso wenig wird eine Verletzung von Art. 6 Ziff. 1 EMRK durch die Verwendung der Observationsergebnisse anderweitig begründet. Damit erübrigen sich Weiterungen unter diesem Titel (vgl. Art. 106 Abs. 2 BGG).
4.4.2. Im Falle des Beschwerdeführers fanden Beobachtungen an sechs verschiedenen Tagen statt. An fünf davon kam es zu Videoaufzeichnungen; an einem weiteren Tag (4. März 2010) trat er nicht bedeutsam in Erscheinung. Im Wesentlichen bezogen sich die Beobachtungen auf das Hantieren an seinem Wagen und dessen Reinigung, das Öffnen und Schliessen des Garagetors, das Führen des Autos und Velofahren, das Schieben des Fahrrads über eine längere Strecke hinweg sowie das Tragen von Einkäufen und Getränkegebinden. Dass eine Observation in nicht öffentlich frei zugänglichen Räumen erfolgt wäre, ist weder behauptet noch ersichtlich. Auch unter diesem Gesichtspunkt besteht demnach kein Grund für ein Verwertungsverbot.
4.4.3. Der zeitliche Umfang des Eingriffs in die Privatsphäre des Beschwerdeführers war verhältnismässig gering. Die Überwachung erfolgte zwar gezielt und nicht bloss zufällig, dafür aber weder andauernd noch systematisch über einen längeren Zeitraum hinweg. Damit und vor allem mit Blick auf die aufgezeichneten (sehr) alltäglichen Verrichtungen und Handlungen kann insgesamt bei bloss geringfügiger Tangierung der Privatsphäre jedenfalls nicht von einer schweren Verletzung der Persönlichkeit ausgegangen werden (vgl. <ref-ruling> E. 5.6 S. 334). Dem gegenüber zu stellen gilt es das Interesse des Versicherungsträgers und der Versichertengemeinschaft, unrechtmässige Leistungsbezüge abzuwenden. Dieses ist unter den hier gegebenen Umständen höher zu gewichten als das Interesse des Beschwerdeführers an einer unbehelligten Privatsphäre (vgl. <ref-ruling> E. 5.6 S. 335). Damit können im vorliegenden Fall die ohne ausreichende gesetzliche Grundlage erhobenen Observationsergebnisse in Form des entsprechenden Berichts sowie der Foto- und Videoaufnahmen verwertet werden, zumal der Kerngehalt von Art. 13 BV bei der hier gegebenen Überwachung und der damit verbundenen geringen Eingriffsschwere ebenfalls unangetastet blieb (vgl. <ref-ruling> E. 5.6 S. 335).
4.5. Damit ergibt sich fürs Erste die Feststellung, dass die im Falle des Beschwerdeführers zwischen Februar und Juni 2010 erfolgte Observation rechtswidrig, das heisst in Verletzung der Rechte gemäss Art. 8 EMRK und Art. 13 BV erfolgt war. Hingegen folgt aus der Abwägung der dadurch tangierten Interessen, dass einer Verwendung der Observationsergebnisse - namentlich auch aus Sicht von Art. 6 Ziff. 1 EMRK - nichts im Wege steht.
Diese Verwertbarkeit erstreckt sich im vorliegenden Fall auch auf das Gerichtsgutachten des PD Dr. med. D._ vom 23. Oktober 2015, das seinerseits partiell auf die Observation Bezug nimmt. Insofern erübrigt sich eine nähere Prüfung der Frage, ob und inwieweit die darin enthaltenen Feststellungen selbst ohne die Observation möglich gewesen wären.
5.
5.1. PD Dr. med. D._ führte im Gerichtsgutachten vom 23. Oktober 2015 aus, nach Durchsicht der Unterlagen, der Röntgen- und MRI-Bilder, der Videoaufnahmen und der klinischen Untersuchung komme er zum Schluss, dass der Bericht des Dr. med. C._ vom 30. August 2010 die Situation gut zusammenfasse. Beim Beschwerdeführer scheine eine Leistungsfähigkeit von mindestens 50 % in einer angepassten Tätigkeit gegeben zu sein. In der Gutachtensergänzung vom 27. Juli 2016 legte PD Dr. med. D._ dar, Dr. med. C._ sei im Bericht von 30. August 2010 der Meinung gewesen, dass dem Beschwerdeführer in einer angepassten Tätigkeit ein volles Pensum mit einer maximalen Leistungsminderung von 20 % wegen Verlangsamung und Bewegungseinschränkung im Bereich des linken Arms und wegen vermehrten Pausen von Seiten der linken Hüfte zugemutet werden könne. Unter Berücksichtigung der Tatsache, dass einige seiner Patienten mit einem vollständig gelähmten Arm oder einer deutlichen Ellbogenarthrose zu 100 % arbeiteten, sei die Einschätzung des Dr. med. C._ wahrscheinlich besser als jene der Abklärungsstelle E._ vom 17. März 2006.
5.2. Der Beschwerdeführer beanstandet in diesem Zusammenhang, dass die Vorinstanz seine Zusatzfragen an den Gerichtsgutachter zurückgewiesen habe. PD Dr. med. D._ habe die im Gerichtsgutachten vom 23. Oktober 2015 auf 50 % festgelegte Arbeitsfähigkeit aufgrund der Zusatzfragen der IV-Stelle vom 7. April 2016 in der Gutachtensergänzung vom 27. Juli 2016 auf 80 % erhöht. Dies sei eine entscheidrelevante Aussage in Bezug auf den strittigen Leistungsanspruch. Unter diesen Umständen sei es willkürlich, wenn die Vorinstanz seine am 20. September 2016 an PD Dr. med. D._ gestellten Zusatzfragen nicht zugelassen habe. Damit habe sie auch seinen Anspruch auf rechtliches Gehör und Beweis verletzt (Art. 29 BV, Art. 6 EMRK). Diese Vorbringen sind unbehelflich. Denn der Beschwerdeführer legt nicht dar und es erschliesst sich auch nicht ohne Weiteres, inwiefern von der Beantwortung weiterer Fragen durch PD Dr. med. D._ ein entscheidrelevanter neuer Aufschluss zu erwarten gewesen wäre (Art. 97 Abs. 1 BGG).
5.3. Bei seiner inhaltlichen Kritik am Gerichtsgutachten und der gestützt darauf ergangenen vorinstanzlichen Beweiswürdigung und Sachverhaltsfeststellung beruft sich der Beschwerdeführer sodann auf das Ergebnis der MRI-Aufnahme des linken Hüftgelenks vom 11. März 2005. Dieses war dem Gerichtsgutachter PD Dr. med. D._ indessen bekannt. Weiter rügt er, der bei den Akten liegende radiologische Bericht der Orthopädie F._ betreffend "Becken ap und linke Hüfte axial" vom 24. Juli 2013 beschreibe eine "Taillierungsstörung Femurhals links, Enthesiopathien Hemibecken links, heterotope Ossifikation Stadium I nach Brooker links, vermehrte azetabuläre Überdachung links mit Coxa profunde". Demgegenüber erwähne PD Dr. med. D._ im Gerichtsgutachten vom 23. Oktober 2015 gestützt auf diesen Bericht eine "abgebrochene Bohrerspitze auf Os ilium, Osteophyten an der Beckenschaufel, leicht verminderte Weichteilschatten der Hüftabduktoren links im Vergleich zu rechts, vermehrte acetabuläre Überdachung mit einem CE-Winkel von 36° links gegenüber 28° rechts und einen Acetabular-Index von 3° links und 5° rechts". Hieraus vermag der Beschwerdeführer nichts zu seinen Gunsten abzuleiten. Denn abgesehen davon, dass der Gerichtsgutachter auch eine verminderte Taillierung festhielt und im Übrigen auf eine stationäre Befundlage im Vergleich zu den Voraufnahmen verwies, ist für die Einschätzung seiner Arbeitsfähigkeit nicht in erster Linie das Resultat der bildgebenden Verfahren, sondern dasjenige der klinischen Untersuchung massgebend.
5.4. Des weiteren bringt der Beschwerdeführer vor, der Gerichtsgutachter PD Dr. med. D._ habe sich nicht mit den Beurteilungen der Dres. med. G._, C._ und H._ sowie des Prof. Dr. med. I._ (radikuläre oder pseudoradikuläre Symptomatik) auseinandergesetzt. Dem ist entgegenzuhalten, dass PD Dr. med. D._ die Berichte dieser Ärzte bzw. die Gutachten des Dr. med. G._ bekannt waren. Dabei hielt er im Rahmen seiner Einschätzung fest, die von den behandelnden und den begutachtenden Ärzte erhobenen Befunde stimmten im Wesentlichen überein. Anschliessend verwies er darauf, dass die verbleibende Restarbeitsfähigkeit von den beteiligten Ärzten anders beurteilt werde, was er mit deren unterschiedlicher Nähe zum Beschwerdeführer sowie damit begründete, dass die Festlegung der Arbeitsfähigkeit keine exakte Wissenschaft sei. Zudem hielt er fest, dass die Angaben des Patienten zu Schmerzintensität, Leistungsfähigkeit und Lebensqualität in der Sprechstunde nicht überprüft werden könnten und der Arzt in der Regel davon ausgehe, dass ihm die Wahrheit gesagt werde. Im Anschluss nahm er eine eigene Würdigung der Befunde vor, um zum Ergebnis zu gelangen, dass der Bericht des RAD-Arztes die Situation gut zusammenfasse. Dabei ist entscheidend, dass der Gerichtsgutachter seine Einschätzung in Kenntnis der gesamten Aktenlage und nach gut dokumentierter eingehender Erhebung eigener Befunde abgab. Eine vertiefende Auseinandersetzung mit anderen ärztlichen Einschätzungen wäre allenfalls wünschbar und der Akzeptanz wohl zuträglich gewesen. Aus rechtlicher Sicht war sie unter den gegebenen Umständen mit Blick auf die Ausführungen zur Befundlage und die vom Gerichtsgutachter hervorgehobenen Ermessensanteile an der Schätzung der Arbeitsfähigkeit jedoch nicht zwingend geboten.
5.5. Der Beschwerdeführer macht geltend, die Vorinstanz habe in E. 4.2 des angefochtenen Entscheides festgehalten, er sei ab 14. Oktober 2002 zu mindestens 50 % arbeitsunfähig gewesen. Gleichzeitig sei sie gestützt auf das Gerichtsgutachten des PD Dr. med. D._ von einer 80%igen Arbeitsfähigkeit seit 5. Februar 1998 ausgegangen. Damit sei der angefochtene Entscheid widersprüchlich. Dieser Einwand verfängt nicht. Denn bei der von der Vorinstanz angeführten 50%igen Arbeitsunfähigkeit ging es um diejenige in der angestammten Tätigkeit im Fassadenbau, während die 80%ige Arbeitsfähigkeit eine leidensangepasste Arbeit betrifft.
5.6. Schliesslich wendet der Beschwerdeführer ein, gemäss dem Urteil des Bundesgerichts 8C_866/2011 vom 27. März 2012 hätten Hinweise für eine Verbesserung seines Gesundheitszustands seit dem Gutachten des Dr. med. G._ vom 28. März 2009 bestanden. Eine vertiefte Beurteilung mit dieser zu prüfenden Verbesserung fehle im Gerichtsgutachten des PD Dr. med. D._.
Hierzu ist festzuhalten, dass das Bundesgericht in jenem Urteil die Arbeitsfähigkeit - und damit auch deren Verbesserung - nicht als hinreichend abgeklärt ansah, weshalb es die Sache zur Einholung eines Gerichtsgutachtens an die Vorinstanz zurückwies. Wenn der Gerichtsgutachter nunmehr gestützt auf seine Untersuchung des Beschwerdeführers und seine empirische Erfahrung sowie in umfassender Kenntnis der medizinischen Aktenlage für den gesamten hier in Frage stehenden Zeitraum von einer 20%igen Arbeitsunfähigkeit in einer leidensangepassten Tätigkeit ausging und die Vorinstanz hierauf abstellte, erscheint ihre Beurteilung weder als offensichtlich unrichtig noch als bundesrechtswidrig. Insgesamt bestehen keine zwingenden Gründe, von der Einschätzung des Gerichtsgutachters PD Dr. med. D._ abzuweichen (vgl. <ref-ruling> E. 4.4 S. 469).
6.
Da von weiteren medizinischen Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten sind, ist darauf zu verzichten. Dies verstösst weder gegen den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) noch gegen den Anspruch auf rechtliches Gehör bzw. auf Beweisabnahme (Art. 29 Abs. 2 BV; antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; Urteil 8C_741/2016 vom 3. März 2017 E. 7.6).
7.
Der Einkommensvergleich - in dessen Rahmen die Vorinstanz nach dem Gesagten zu Recht von einer 80%igen Arbeitsfähigkeit des Versicherten in leidensangepassten Tätigkeiten ausging - ergab einen Invaliditätsgrad von 46 % und damit den Anspruch auf eine Viertelsrente. Diese Berechnung ist im Einzelnen unbestritten, weshalb sich hierzu Weiterungen erübrigen. Soweit der Versicherte die Veranschlagung einer 50%igen Arbeitsunfähigkeit verlangt, kann dem eben gerade nicht gefolgt werden.
8.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. Juli 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Frésard
Der Gerichtsschreiber: Jancar