Sachverhalt:
A.
A.a. Der 1954 geborene A._ meldete sich im Juli 2005 wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nachdem die IV-Stelle Bern erwerbliche und medizinische Abklärungen vorgenommen, insbesondere ein rheumatologisches Gutachten an der Klinik B._ des Spitals C._ (vom 27. Oktober 2008) eingeholt hatte, verneinte sie mit Verfügung vom 17. November 2008 den Anspruch auf eine Invalidenrente. Das Verwaltungsgericht des Kantons Bern hob mit Entscheid vom 28. Februar 2011 die rentenabweisende Verfügung auf und wies die Sache zu weiteren Abklärungen an die Verwaltung zurück.
A.b. Die IV-Stelle veranlasste daraufhin eine polydisziplinäre Begutachtung an der Klinik B._ (polydisziplinäres Gutachten vom 21. Oktober 2013, sowie Beantwortung von Zusatzfragen vom 4. Juni 2014) und eine Evaluation der funktionellen Leistungsfähigkeit (EFL) vom 21. Dezember 2011. Nach durchgeführtem Vorbescheidverfahren verneinte sie mit Verfügung vom 25. September 2014 bei einem Invaliditätsgrad von 28 % erneut einen Anspruch auf eine Invalidenrente.
B.
Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 28. September 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid vom 28. September 2016 sei aufzuheben und es sei ihm bei einem Invaliditätsgrad von mindestens 70 % eine ganze Rente der Invalidenversicherung auszurichten, eventualiter sei die Sache zur erneuten Beurteilung an die IV-Stelle zurückzuweisen.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
2.
Streitig und zu prüfen ist, ob die Vorinstanz zu Recht die Verneinung eines Rentenanspruchs bestätigte.
2.1. Das kantonale Gericht stellte gestützt auf das polydisziplinäre Gutachten vom 21. Oktober 2013 fest, im psychiatrischen Teilgutachten vom 19. Juli 2012 habe nachvollziehbar eine relevante psychische Erkrankung ausgeschlossen werden können. Im Einklang mit den übrigen im Recht liegenden psychiatrischen Einschätzungen seien die diagnostischen Kriterien einer Somatisierungsstörung oder einer somatoformen Schmerzstörung gemäss Gutachter klar nicht erfüllt, wobei diese sich auch mit der im Jahr 2007 diagnostizierten Anpassungsstörung mit kurzer depressiver Reaktion auseinandergesetzt hätten. Weiter hielt die Vorinstanz zu Recht fest, die rezidivierende depressive Störung sei ein reaktives Geschehen ohne invalidisierenden Krankheitswert (<ref-ruling> E. 3.3). Daran vermögen die Einwände gegen das psychiatrische Teilgutachten in der Beschwerde nichts zu ändern. Insbesondere ist aufgrund der Kürze und fehlenden Aussagekraft zu einer psychischen Erkrankung wenig erstaunlich, dass die Experten im psychiatrischen Teilgutachten nicht weiter auf die im Rahmen der psychiatrischen Anamnese erwähnten Berichte der Frau med. pract. D._, Leitende Ärztin, Dienste E._, eingingen. Diese hielt überdies im Bericht vom 11. Mai 2011 in psychiatrischer Hinsicht einzig eine reaktive Depression fest, die keiner medizinischen Begleitung bedurfte. Ebenso wenig konnten in somatischer Hinsicht relevante Beeinträchtigungen erhoben werden; so gelangten die Gutachter im neurologischen Teilgutachten - wie dies die Vorinstanz nachvollziehbar ausführte und beschwerdeweise auch nicht bestritten wurde - zum Schluss, es fehle an einem organischen Korrelat für die grotesk zur Schau gestellte funktionelle dissoziative Störung. Gemäss kantonalem Gericht seien die Ausführungen im orthopädischen Teilgutachten einleuchtend, weshalb die Gutachter, gestützt auf Röntgenbilder und die mittels MRI erhobenen Befunde, nach erfolgten diversen Rückenoperationen eine wirbelsäulenorthopädische Ursache der Schmerzen ausschlossen. Die Behauptung, das Teilgutachten könne nicht verwertet werden, weil die letzte MRI-Untersuchung zwei Jahre zurückliege, ist unbehelflich, legte doch die Vorinstanz klar dar, dass ein MRI der Lendenwirbelsäule vom 20. August 2014 die Annahmen im rheumatologischen Teilgutachten bestätigten. Darin wurde ausdrücklich festgehalten, dass gegenüber der Voruntersuchung vom 26. September 2011 keine Veränderung stattgefunden habe und sich ein stabiler Befund zeige. Die Vorinstanz stellte demnach auf die Teilgutachten ab und anerkannte ihnen volle Beweiskraft.
2.2.
2.2.1. Aufgrund der Beschwerde stellt sich dennoch die Frage nach der Beweiskraft des polydisziplinären Gutachtens insgesamt. Zwar wurde in allen Teilgutachten von den Fachärzten - wie dies das kantonale Gericht richtig darstellte - sowohl eine Diagnose mit Krankheitswert als auch ein organischer Befund als Schmerzursache ausgeschlossen. Im Hauptgutachten und im Schreiben vom 4. Juni 2014 wurde aber insbesondere die Diagnose einer somatoformen Schmerzstörung gestellt und eine Arbeitsunfähigkeit von 80 % attestiert. Wie die Vorinstanz aufzeigte, wurde im Hauptgutachten auch ausgeführt, es bestünden "keine relevanten organischen oder psychiatrischen Beeinträchtigungen", weshalb das Gutachten in der konsensualen Einschätzung der psychischen Gesundheit widersprüchlich sei, insgesamt aber aufgrund der schlüssigen Teilgutachten kein invalidenversicherungsrechtlich relevanter Gesundheitsschaden vorliege.
2.2.2. Das Bundesgericht schreibt nicht vor, wie die einzelnen Beweismittel zu würdigen sind. Es gilt der Grundsatz der freien Beweiswürdigung. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahmen als Bericht oder Gutachten. Vielmehr gilt es das gesamte Beweismaterial zu würdigen und bei sich widersprechenden medizinischen Berichten die Gründe anzugeben, warum auf die eine oder andere medizinische These abzustellen ist (<ref-ruling> E. 3a). In diesem Zusammenhang ist zu berücksichtigen, dass in Bezug auf Schmerzen mit den sich dabei naturgemäss ergebenden Beweisschwierigkeiten die subjektiven Schmerzangaben der versicherten Person für die Begründung einer (teilweisen) Arbeitsunfähigkeit allein nicht genügen; vielmehr muss im Rahmen der sozialversicherungsrechtlichen Leistungsprüfung verlangt werden, dass die Schmerzangaben durch damit korrelierende, fachärztlich schlüssig feststellbare Befunde hinreichend erklärbar sind. Dabei müssen die Schmerzangaben zuverlässiger medizinischer Feststellung und Überprüfung zugänglich sein (<ref-ruling> E. 5.3.2 S. 398). Das Ausmass der durch eine somatoforme Schmerzstörung bewirkten Arbeitsunfähigkeit wird grundsätzlich gestützt auf ein psychiatrisches Gutachten festgelegt und bedingt das Vorliegen eines fachärztlich ausgewiesenen psychischen Leidens mit Krankheitswert (<ref-ruling> E. 2.2.3). Die Sachverständigen sollen die Diagnose einer anhaltenden somatoformen Schmerzstörung (ICD-10 Ziff. F45.40) so begründen, dass die Rechtsanwender nachvollziehen können, ob die klassifikatorischen Vorgaben tatsächlich eingehalten sind (<ref-ruling> E. 2.1.1).
2.2.3. Die Beurteilung des Gesundheitsschadens im Gutachten vom 21. Oktober 2013 erfolgte nicht in einer Konsensbesprechung zwischen den verschiedenen in den Teilgutachten spezialisierten Ärzten, sondern allein durch Prof. Dr. med. F._, Innere Medizin FMH, Rheumatologie FMH, Physikalische Medizin und Rehabilitation FMH und Dr. med. G._, FMH Rheumatologie und FMH Allgemeine Innere Medizin, des Spitals C._. Nachdem bereits der Verwaltung die Widersprüche zwischen Teilgutachten und Zusammenfassung im Hauptgutachten aufgefallen war, forderte sie eine Stellungnahme der Experten ein. Mit Schreiben vom 4. Juni 2014 erklärten diese, sie seien aufgrund ihrer wiederholten Begutachtung des Versicherten geeigneter, seinen Gesundheitszustand zu eruieren als die Fachärzte in den Teilgutachten. Insbesondere verfüge Prof. Dr. med. F._ über einen Fachausweis in psychosomatischer Medizin, weshalb er besser eine somatoforme Schmerzstörung diagnostizieren und beurteilen könne als ein Psychiater.
2.2.4. Zweck interdisziplinärer Gutachten ist es, alle relevanten gesundheitlichen Beeinträchtigungen zu erfassen und die sich daraus je einzeln ergebenden Einschränkungen der Arbeitsfähigkeit in ein Gesamtergebnis zu fassen (<ref-ruling> E. 1.2.4 S. 224; SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.1). Dasselbe gilt mit Blick auf die mitunter schwierige Abgrenzung der im Sinne von <ref-law> versicherten Zustände von invaliditätsfremden Faktoren. Der abschliessenden, gesamthaften Beurteilung von Gesundheitszustand und Arbeitsfähigkeit kommt damit dann grosses Gewicht zu, wenn sie auf der Grundlage einer Konsensdiskussion der an der Begutachtung mitwirkenden Fachärzte erfolgt (Urteil 9C_425/2013 vom 16. September 2013 E. 4.3.1). Eine solche zusammenfassende Beurteilung auf der Grundlage einer Konsensdiskussion der einzelnen Gutachter oder unter Leitung eines fallführenden Arztes zur Zusammenführung und Darlegung der Ergebnisse aus den einzelnen Fachrichtungen ist ideal, aber nicht zwingend (Urteile 9C_889/2015 vom 15. Januar 2016 E. 2.2, 9C_556/2012 vom 25. Februar 2013 E. 4, 8C_323/2007 E. 4.3.2 mit Hinweisen). Das Abstellen auf ein polydisziplinäres Gutachten ist daher nicht bereits deshalb bundesrechtswidrig, weil - wie im vorliegenden Fall - keine abschliessende Konsensdiskussion stattgefunden hat. Die Frage, ob ein Gutachten beweiskräftig ist oder nicht, beurteilt sich, wie dargelegt, im konkreten Einzelfall danach, ob sich gestützt auf die Expertise die rechtsrelevanten Fragen beantworten lassen oder nicht. Mit anderen Worten verletzt das Abstellen auf ein polydisziplinäres Gutachten <ref-law> nicht allein schon deshalb, weil einem Teilgutachten der Beweiswert abgesprochen wird. Dies hat auch umgekehrt zu gelten, wenn sich die Schlussfolgerungen im Hauptgutachten, das nicht in einer interdisziplinären Konsensbesprechung der beteiligten Fachärzte entstand, nicht nachvollziehen und sich nicht mit den Teilgutachten vereinbaren lassen, die Beurteilungen in allen Teilgutachten jedoch als schlüssig zu bezeichnen sind. Eine Beweiswürdigung, welche überzeugenden Teilkonsilien vollen Beweiswert zuerkennt, kann somit nicht allein deshalb als bundesrechtswidrig bezeichnet werden, weil einem weiteren Teil des Gutachtens - hier der Schlussbeurteilung - die Beweiskraft fehlt (Urteile 9C_556/2012 vom 25. Februar 2013 E. 4 und 9C_687/2011 vom 8. Februar 2012 E. 3.2.2). Gestützt auf die Beweisregeln des Bundesgerichts und die nicht zu beanstandende Begründung der Vorinstanz, weshalb ausweislich sämtlicher Verfahrensakten die Teilgutachten voll beweiskräftig sind, durfte diese, ohne Bundesrecht zu verletzen, auf die Teilexpertisen abstellen. Denn die interdisziplinäre Gesamtsichtung brachte keine relevanten Mängel eines Teilgutachtens zum Vorschein und mit Blick auf die Ergebnisse der vorliegenden Teilgutachten kann zudem nicht gesagt werden, dass eine neue interdisziplinäre Gesamtwürdigung zwingend gewesen wäre. Die von den Hauptgutachtern aufgeworfene Diagnose einer anhaltenden somatoformen Schmerzstörung findet dementsprechend in keinem psychiatrischen Bericht oder Gutachten Bestätigung und wurde vom psychiatrischen Experten nachvollziehbar verworfen. Entgegen der Auffassung des Prof. Dr. med. F._ und des Dr. med. G._ in ihrer Stellungnahme vom 4. Juni 2014 handelt es sich dabei rechtsprechungsgemäss um eine Diagnose, die ausschliesslich durch einen Psychiater nachvollziehbar gestellt werden muss (<ref-ruling> E. 2.1.1). Dass Prof. Dr. med. F._ einen Fachausweis in Psychosomatischer Medizin besitzt, ändert an dieser Voraussetzung nichts, sondern belegt in Anbetracht der im Recht liegenden medizinischen Berichte gerade die Richtigkeit dieser Rechtsprechung. Überdies räumten sie in ihrer Stellungnahme vom 4. Juni 2014 selbst ein, dass keine nachgewiesene, sichere Diagnose vorliege und die von ihnen angegebene hohe Arbeitsunfähigkeit darauf basiere, dass der Versicherte durch den sozialen Rückzug und wegen der sozialen Pflegebedürftigkeit soweit muskulär dekonditioniert sei, dass er nicht mehr als eineinhalb Stunden pro Tag arbeiten könne. Eine fachärztlich schlüssig ausgewiesene, invalidisierende psychische Störung hat die Vorinstanz hieraus zu Recht nicht abgeleitet. Sie durfte demnach willkürfrei und bundesrechtskonform gestützt auf die beweiskräftigen Teil-gutachten und unter Ausserachtlassung der Zusammenfassung im Hauptgutachten einen invalidisierenden Gesundheitsschaden verneinen.
3.
Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. März 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla