Sachverhalt:
A.
A.a. Der 1950 geborene A._ meldete sich im November 2003 unter Hinweis auf ein Diskushernien- und Arthroseleiden zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle Bern wies das Rentenbegehren bei einem Invaliditätsgrad von 25 % verfügungsweise am 9. April 2008 ab, was das Verwaltungsgericht des Kantons Bern auf Beschwerde hin mit Entscheid vom 17. Oktober 2008 bestätigte.
Nachdem A._ wegen einer Dilatation der Aorta ascendens und des Aortenbogens im Februar 2009 am Herzen operiert worden war, stellte er am 19. März 2009 erneut ein Leistungsbegehren bei der Invalidenversicherung. Die IV-Stelle Bern verneinte mit Verfügung vom 9. August 2011 abermals einen Rentenanspruch bei einem Invaliditätsgrad von 35 %. Das Verwaltungsgericht des Kantons Bern schützte dies mit Entscheid vom 2. Juli 2012. In teilweiser Gutheissung der dagegen geführten Beschwerde in öffentlich-rechtlichen Angelegenheiten hob das Bundesgericht den Entscheid des Verwaltungsgerichts des Kantons Bern vom 2. Juli 2012 und die Verfügung der IV-Stelle Bern vom 9. August 2011 auf und wies die Sache zur Einholung eines polydisziplinären Gutachtens und neuer Verfügung an die IV-Stelle zurück.
A.b. Gestützt auf das daraufhin eingeholte Gutachten der Aerztlichen Begutachtungsinstitut (ABI) GmbH, Basel, vom 25. November 2013 und einer Aktenbeurteilung ihres Regionalen Ärztlichen Dienstes (RAD) vom 19. Juni 2014 ermittelte die IV-Stelle einen Invaliditätsgrad von 37 % und verneinte nach Durchführung des Vorbescheidverfahrens einen Rentenanspruch (Verfügung vom 23. Oktober 2015).
B.
In teilweiser Gutheissung der dagegen geführten Beschwerde hob das Verwaltungsgericht des Kantons Bern die Verfügung vom 23. Oktober 2015, soweit den Rentenanspruch ab Dezember 2013 betreffend, auf und wies die Sache an die IV-Stelle zurück, damit diese nach Abklärungen im Sinne der Erwägungen über den Anspruch auf Invalidenrente ab Dezember 2013 neu verfüge. Im Übrigen wies es die Beschwerde ab (Entscheid vom 8. September 2016).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, es sei ihm in entsprechender Anpassung des angefochtenen Gerichtsentscheids für die Zeit vom 1. September 2009 bis 30. November 2013 eine ganze Invalidenrente zuzusprechen. Eventualiter sei die Sache zur Beurteilung der Arbeitsfähigkeit ab 20. März 2009 bis 31. August 2013 an die IV-Stelle zurückzuweisen; subeventualiter sei ihm für diesen Zeitraum eine halbe Invalidenrente zuzusprechen. Ferner wird um Durchführung eines zweiten Schriftenwechsels ersucht. Überdies sei ihm eine Parteientschädigung von Fr. 2'983.30 für das vorinstanzliche Verfahren zu gewähren und die IV-Stelle zu verpflichten, die gesamten Gerichtskosten zu tragen.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig gegen Endentscheide, welche das Verfahren abschliessen (Art. 90 BGG), und gegen Teilentscheide im Sinne von Art. 91 BGG. Zwischenentscheide sind - abgesehen von Entscheiden über die Zuständigkeit und über Ausstandsbegehren (Art. 92 BGG) - nur dann (ausnahmsweise) anfechtbar, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können, oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. a und b BGG).
1.2. Ein Rückweisungsentscheid schliesst das Verfahren nicht ab und ist nach der Regelung des BGG grundsätzlich kein Endentscheid (Art. 90 BGG), selbst wenn darin über eine materielle Grundsatzfrage entschieden wird, sondern ein Zwischenentscheid, der nur unter den Voraussetzungen des Art. 93 Abs. 1 BGG angefochten werden kann. Ein Rückweisungsentscheid, mit dem eine Sache zu neuer Abklärung und Entscheidung an die Vorinstanz zurückgewiesen wird, bewirkt indessen in der Regel keinen nicht wieder gutzumachenden Nachteil (lit. a; BGE 140 V 321 E. 3.6 S. 326 f.; 137 V 314 E. 2 S. 316 f.; 133 V 477 E. 5.2.2 S. 483), und mit der ergänzenden Sachverhaltsabklärung ist grundsätzlich kein bedeutender Aufwand an Zeit und Kosten (lit. b) verbunden (SVR 2012 IV Nr. 23 S. 97, 9C_329/2011 E. 3.3 mit Hinweisen).
1.3. Ein Entscheid, mit dem eine Vorinstanz des Bundesgerichts eine bestimmte, vorangehende Teilperiode des Rentenanspruchs materiell abschliessend beurteilt und für eine darauf folgende Teilperiode die Sache zu neuer Beurteilung an die Verwaltung zurückweist, ist in Bezug auf die materiell abschliessend beurteilte Phase als selbstständig anfechtbarer Teilentscheid im Sinne von Art. 91 lit. a BGG und in Bezug auf die Gegenstand der Rückweisung bildende Phase als nur unter den Voraussetzungen des Art. 93 Abs. 1 BGG anfechtbarer Zwischenentscheid zu qualifizieren (BGE 135 V 141).
1.4. Der Beschwerdeführer wendet sich nicht gegen die Rückweisung. Angefochten wird der vorinstanzliche Entscheid einzig soweit darin für die Periode von September 2009 bis Ende November 2013 ein Rentenanspruch verneint wird, weshalb diesbezüglich ein anfechtbarer Teilentscheid vorliegt. Auf die Beschwerde ist einzutreten.
2.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
3.
Da die Streitsache ohne Schriftenwechsel entschieden werden kann, ist der Antrag, es sei ein zweiter Schriftenwechsel durchzuführen, gegenstandslos (Art. 102 Abs. 1 und 3 BGG; Urteil 8C_596/2013 vom 24. Januar 2014 E. 2).
4.
Das kantonale Gericht legte die Bestimmungen und Grundsätze über den Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG), die Prüfung einer Neuanmeldung nach vorangegangener Ablehnung eines Invalidenrentengesuchs (Art. 87 Abs. 3 in Verbindung mit Art. 87 Abs. 2 IVV) und die dazu ergangene Rechtsprechung, wonach - bei Glaubhaftmachung einer (hier interessierenden) Änderung des Invaliditätsgrads in anspruchserheblicher Weise - analog wie bei einem Revisionsfall nach Art. 17 Abs. 1 ATSG vorzugehen ist (BGE 133 V 108 E. 5 S. 110 ff.), zutreffend dar. Gleiches gilt für die Anforderungen an den Beweiswert und die Beweiswürdigung medizinischer Berichte und Gutachten (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis). Darauf wird verwiesen.
5.
5.1.
5.1.1. Die Vorinstanz setzte sich eingehend sowohl mit den vor der Neuanmeldung datierenden wie auch mit den nachfolgend erstellten medizinischen Akten auseinander. Sie stellte insbesondere fest, gestützt auf das bis zum Begutachtungszeitpunkt im August 2013 beweiskräftige Gutachten der MEDAS vom 25. November 2013 sei der Versicherte für eine leidensadaptierte Tätigkeit im Umfang von 70 % arbeitsfähig gewesen. Mit Blick auf das chronische panvertebrale Schmerzsyndrom hätten sich die degenerativen Veränderungen etwas verstärkt. Hinzugetreten sei weiter die Augenerkrankung mit Sehschärfenminderung und Gesichtsfeldausfall. Auch wenn die im ophthalmologischen Teilgutachten der Frau Dr. med. B._, Fachärztin für Ophthalmologie, aufgrund dieser Augenerkrankung mit 30 % festgesetzte Einschränkung etwas pauschal erfolgt sei, wie die RAD-Ärztin Frau Dr. med. C._ in ihrer Stellungnahme vom 19. Juni 2014 zutreffend eingewendet habe, bleibe dies insofern unbeachtlich, als die Verwaltung ohnehin zugunsten des Versicherten von einer interdisziplinär attestierten Arbeitsfähigkeit von 70 % ausgegangen sei. Was die im psychiatrischen Teilgutachten des Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie, diagnostizierte anhaltende somatoforme Schmerzstörung anbelange, falle die Ausprägung der diagnoserelevanten Befunde - gemessen an den im Einzelfall relevanten Standardindikatoren gemäss der mit BGE 141 V 281 geänderten Rechtsprechung zu psychosomatischen Leiden und vergleichbaren Beeinträchtigungen - nicht ins Gewicht. Gesamthaft seien sowohl der funktionelle Schweregrad als auch die Konsistenz der funktionellen Auswirkungen der Schmerzstörung nicht ausgewiesen, weshalb auch unter Berücksichtigung der beachtlichen Standardindikatoren überwiegend wahrscheinlich davon auszugehen sei, die somatoforme Schmerzstörung zeitige keine Auswirkungen auf die Arbeitsfähigkeit.
5.1.2. Hinsichtlich der gesundheitlichen Entwicklung von August 2013 bis zur angefochtenen Verfügung vom 23. Oktober 2015 ergäben sich aus den Akten jedoch Hinweise für eine relevante Veränderung des Gesundheitszustands. So habe der behandelnde Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, den Versicherten in die Klinik F._ eingewiesen, in der er vom 12. November bis 5. Dezember 2014 hospitalisiert gewesen sei. Der dort erhobene Verdacht einer demenziellen Entwicklung habe eine verhaltensneurologisch-neuropsychologische Abklärung erfordert, welche zum Teil schwere Defizite ergeben habe. Deshalb sei eine beginnende neurodegenerative Entwicklung nicht ausgeschlossen worden. Dr. med. E._ habe am 8. November 2015 über einen verschlechterten Gesundheitszustand mit Verweis auf eine depressive Episode mittleren Grades und die dementielle Entwicklung hingewiesen, wobei eine bildgebende Untersuchung mittels MRI damals noch ausstehend gewesen sei. Da keine hinreichend aktuelle Entscheidgrundlage bestehe, sei die medizinische Situation seit der Begutachtung im August 2013 - vorzugsweise durch eine ergänzende Expertise durch die MEDAS - weiter abzuklären.
5.2. Beim Einkommensvergleich stellte das kantonale Gericht, wie die Verwaltung, beim Validen- und Invalideneinkommen auf Tabellenlöhne gemäss der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) ab. Unter Berücksichtigung eines leidensbedingten Abzugs von 10 % ermittelte es für die Zeit bis November 2013 einen rentenausschliessenden Invaliditätsgrad von 37 %.
5.3.
5.3.1. Die Rügen des Beschwerdeführers vermögen keine Bundesrechtsverletzung der Vorinstanz zu begründen. Entgegen den Darlegungen in der Beschwerde ist der vorinstanzliche Schluss, die Arbeitsfähigkeit lasse sich für die Zeit zwischen der Neuanmeldung im März 2009 und der gutachterlichen Exploration im August 2013 gestützt auf das MEDAS-Gutachten vom 25. November 2013 verlässlich beurteilen, nicht offensichtlich unrichtig. Das kantonale Gericht hat in nicht zu beanstandender Weise festgehalten, medizinische Grundlage für die Verfügung vom 9. April 2008 hätten die Expertisen des Dr. med. G._, Facharzt für Psychiatrie und Psychotherapie, vom 15. Mai 2007, und des Dr. med. H._, Facharzt für Innere Medizin und Rheumatologie, vom 13. September 2006, gebildet. Die Experten der MEDAS hätten sich bezüglich des Zeitpunkts vor ihrer Exploration an den Darlegungen des Dr. med. H._ orientiert, der für eine leidensadaptierte Tätigkeit eine Arbeitsunfähigkeit von höchstens 10 bis 15 % festgehalten habe. Sie seien im Ergebnis aufgrund der etwas verstärkten degenerativen Veränderungen zu einer leicht höheren Arbeitsunfähigkeit gelangt. Hinsichtlich der Augenkrankheit hätten die Gutachter den Beginn der hieraus resultierenden Einschränkungen nicht genau festlegen können, weshalb die Arbeitsunfähigkeit sicher ab dem Untersuchungsdatum gelte. Wenn die Vorinstanz ausführte, es falle jedenfalls nicht zuungunsten des Beschwerdeführers aus, wenn die IV-Stelle auch für den Zeitraum von September 2009 bis November 2013 von der in der Gesamtbeurteilung angegebenen 70%igen Arbeitsfähigkeit für körperlich leichte, wechselbelastende Tätigkeiten ohne Arbeiten an gefährlichen Maschinen, ausgegangen sei, ist dies nicht zu beanstanden und verletzt den Untersuchungsgrundsatz nicht. Nicht stichhaltig ist ferner der Einwand, es sei gemäss neurologischer gutachterlicher Sicht von einer 10%igen Leistungseinschränkung auszugehen, welche zur Arbeitsunfähigkeit von 30 % aus ophthalmologischer Sicht hinzukomme, was die Vorinstanz offensichtlich unrichtig ausser Acht gelassen habe. Die MEDAS-Experten gelangten in ihrer interdisziplinären Gesamtwürdigung zu einer eingeschränkten Arbeitsfähigkeit im Umfang von 30 %, welche mit Blick auf das Anforderungsprofil die im neurologischen Teilgutachten umschriebenen Leistungseinschränkungen berücksichtigte. Der Zweck interdisziplinärer Gutachten besteht gerade darin, alle relevanten Gesundheitsschädigungen zu erfassen und die daraus jeweils abgeleiteten Einflüsse auf die Arbeitsfähigkeit im Sinne eines Gesamtergebnisses aufzuzeigen (BGE 137 V 210 E. 1.2.4 S. 224). In der Regel sind die unter verschiedenen medizinischen Titeln ausgewiesenen Teilarbeitsunfähigkeiten nicht einfach zu addieren, auch nicht in verschiedenen somatischen Bereichen, da der Umfang der grössten Teileinschränkung (hier aus ophthalmologischer Sicht) auch die weiteren Entlastungserfordernisse abdeckt (SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.1), wie das kantonale Gericht bereits festhielt. Dass im vorliegenden Fall die neurologischen Einschränkungen im in der Gesamtbeurteilung umschriebenen Leistungsprofil nicht enthalten sein sollten, wird nicht überzeugend dargelegt.
5.3.2. Gegen die Prüfung der einzelnen rechtserheblichen Indikatoren gemäss BGE 141 V 281 in Bezug auf die anhaltende somatoforme Schmerzstörung, welche das kantonale Gericht als nicht invalidisierend ansah, erhebt der Beschwerdeführer keine Einwände, weshalb sich diesbezügliche Weiterungen erübrigen.
5.4. Schliesslich kann dem Beschwerdeführer nicht gefolgt werden, wenn er in der vorinstanzlichen Festsetzung des leidensbedingten Abzugs von 10 % eine Ermessensüberschreitung sehen will. Das kantonale Gericht bestätigte damit den von der IV-Stelle in dieser Höhe ermessensweise festgesetzten Abzug mit nachvollziehbarer Begründung. Ebenso korrekt führte es aus, dass der in der vom Bundesgericht aufgehobenen Verfügung vom 9. August 2011 attestierte Abzug von 20 % keinerlei Rechts- und Bindungswirkung entfaltet. Der Abzug von 10 % stellt demnach keine vom Bundesgericht zu korrigierende rechtsfehlerhafte Ermessensausübung dar.
6.
Vor diesem Hintergrund hält auch die hälftige Kürzung der Parteientschädigung (Art. 61 lit. g ATSG) und die Auferlegung der Gerichtskosten je zur Hälfte (im Umfang von Fr. 400.-) durch das kantonale Gericht (Art. 69 Abs. 1bis IVG; vgl. BGE 137 V 57 E. 2.2 S. 62 f.) vor Bundesrecht stand.
7.
Als unterliegende Partei hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 Abs. 1 Satz 1 BGG). Entsprechend dem Verfahrensausgang besteht kein Anspruch auf Parteientschädigung (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Dezember 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla