Sachverhalt:
A.
Der 1958, zuletzt als Strassenbauer arbeitende A._ meldete s ich im Oktober 2013 wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern tätigte daraufhin medizinische und berufliche Abklärungen, insbesondere zog sie das im Auftrag der Krankentaggeldversicherung erhobene Gutachten des Dr. med. B._, Facharzt für Allgemeine Innere Medizin und Rheumatologie, vom 27. Juni 2014 bei und holte eine bidisziplinäre Expertise des Ärztlichen Begutachtungsinstitutes GmbH (ABI) vom 18. August 2015 ein. Basierend auf der von den ABI-Gutachtern attestierten Arbeitsfähigkeit in einer angepassten Tätigkeit von 70 % wies die Verwaltung den Versicherten auf die ihm obliegende Pflicht, im Rahmen der beruflichen Massnahmen mitzuwirken sowie die Konsequenzen deren Verletzung hin (Mitteilung vom 25. September 2015). In der Folge stellte die IV-Stelle dem Versicherten vorbescheidsweise in Aussicht, er habe keinen Anspruch auf berufliche Massnahmen, jedoch auf eine befristete ganze Rente vom 1. April bis 30. September 2014. Mit unangefochten in Rechtskraft erwachsener Verfügung vom 26. November 2015 verneinte die Verwaltung einen Anspruch auf berufliche Massnahmen. In Bezug auf den Rentenanspruch leitete sie aufgrund der vom Versicherten erhobenen Einwendungen weitere Abklärungsmassnahmen in die Wege, namentlich liess sie den Versicherten erneut in rheumatologischer und psychiatrischer Hinsicht begutachten (vgl. Gutachten der Dres. med. B._ und C._, Facharzt für Psychiatrie und Psychotherapie, vom 5. März 2018). Mit Verfügungen vom 21. September 2018 sprach die IV-Stelle eine befristete ganze Rente vom 1. April 2014 bis 31. Oktober 2014 und vom 1. April 2016 bis 31. August 2016 zu.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern ab (Entscheid vom 27. Mai 2019).
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben und die Sache zur korrekten Durchführung des Vorbescheidverfahrens an die IV-Stelle zurückzuweisen. Eventualiter sei ihm ab wann rechtens resp. spätestens ab 1. April 2014 eine Invalidenrente nach Massgabe einer Erwerbsunfähigkeit von mindestens 40 % zuzüglich Verzugszinsen von 5 % zuzusprechen. Subeventualiter sei die Angelegenheit zu weiteren Erhebungen (Indikatorenprüfung, Selbsteingliederungsfähigkeit, Anspruch auf berufliche Massnahmen) an die Vorinstanz zurückzuweisen. Ferner ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet hingegen auf eine Vernehmlassung.
A._ äussert sich am 9. Dezember 2019 zur Eingabe der IV-Stelle.
Erwägungen:
1.
Der Beschwerdeführer beantragt die Aufhebung des vorinstanzlichen Entscheids: Die Sache sei an die IV-Stelle zurückzuweisen, damit diese ein korrektes Vorbescheidverfahren durchführe. Der Beschwerdeführer begründet diesen Antrag mit keinem Wort, auf dieses Rechtsbegehren ist daher nicht einzutreten (vgl. Art. 42 Abs. 1 und 2 BGG).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
3.
Das kantonale Gericht hat die für die Beurteilung des Rentenanspruchs nach Art. 28 IVG massgeblichen Bestimmungen, insbesondere zur Erwerbsunfähigkeit (Art. 7 ATSG) und zur Invalidität (Art. 8 Abs. 1 ATSG), vor allem bei psychischen Leiden (BGE 143 V 418; 141 V 281) zutreffend dargelegt. Gleiches gilt hinsichtlich die zu beachtenden Regeln zum Beweiswert eines ärztlichen Berichts oder Gutachtens (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352). Richtig wiedergegeben sind auch die Grundsätze zur Rentenrevision (Art. 17 Abs. 1 ATSG), die bei einer rückwirkenden Zusprechung einer abgestuften oder befristen Rente zur Anwendung kommen (vgl. BGE 133 V 263 E. 6.1 S. 263). Es wird darauf verwiesen. Zu ergänzen ist, dass bei revisionsweiser Aufhebung der Invalidenrente von über 55-jährigen Versicherten grundsätzlich Eingliederungsmassnahmen durchzuführen sind, wenn über eine Rentenbefristung zeitgleich mit der Rentenzusprache befunden wird (BGE 145 V 209 E. 5.4 S. 214 sowie 9C_673/2018 vom 4. Juli 2019 E. 2.2 und E. 3.4).
4.
4.1. Das kantonale Gericht legte zunächst dar, den Gutachten der Dres. med. B._ und C._ vom 5. März 2018 komme volle Beweiskraft zu. Zum gutachterlich festgestellten psychischen Gesundheitsschaden und der gestützt darauf attestierten Arbeitsunfähigkeit von 40 % hielt es aber fest, dass sich die Annahme eines invalidisierenden psychischen Gesundheitsschadens wegen des aggravierenden Verhaltens des Beschwerdeführers verbiete. Die Vorinstanz erwog, Dr. med. C._ habe zahlreiche Inkonsistenzen zwischen den objektivierbaren Befunden und dem Beschwerdevortrag des Beschwerdeführers festgestellt. Der Gutachter sei zum Schluss gekommen, der Beschwerdeführer neige dazu, in dramatisierender Weise eine Beschwerdeintensität und einen Behinderungsgrad zu präsentieren, der sich aus dem bestehenden Grundleiden bei objektiver Betrachtung nicht ergäbe. Dr. med. C._ habe eine Aggravation im Sinne eines bewusst übertriebenen Betonens vorhandener Krankheitssymptome bestätigt. Auch Dr. med. B._ habe in den somatisch-rheumatologischen Begutachtungen vom 27. Juni 2014 und 5. März 2018 auf mehrere Waddel-Zeichen hingewiesen als Hinweis auf nicht somatisch abstützbare Beschwerden sowie auf diverse Diskrepanzen und auf ein auffälliges, demonstratives Schmerzverhalten.
Der Beschwerdeführer bringt dagegen vor, es liege keine Aggravation, sondern Verdeutlichungstendenzen vor. Der psychiatrische Gutachter habe zudem diagnostisch und hinsichtlich der Folgeabschätzung nur die objektivierbaren Krankheitssymptome berücksichtigt. Es bestehe keine Veranlassung, die rein kausal auf das Krankheitsgeschehen zurückzuführenden Leistungseinschränkungen ausser Acht zu lassen. Die Vorinstanz hätte eine Indikatorenprüfung durchführen müssen, welche gezeigt hätte, dass der Versicherte nur noch beschränkte Ressourcen habe, die eine über 40 % hinausgehende Arbeits- und Leistungsfähigkeit verunmögliche.
Die Beschwerdegegnerin macht hingegen insbesondere geltend, dass mit der Aggravation ein Ausschlussgrund vorliege und im Übrigen die relevanten Indikatoren auf keinen IV-relevanten psychischen Gesundheitsschaden weisten.
4.2.
4.2.1. Es liegt regelmässig keine versicherte Gesundheitsschädigung vor, soweit die Leistungseinschränkung auf Aggravation oder einer ähnlichen Erscheinung beruht. Hinweise auf solche und andere Äusserungen eines sekundären Krankheitsgewinns ergeben sich namentlich, wenn: eine erhebliche Diskrepanz zwischen den geschilderten Schmerzen und dem gezeigten Verhalten oder der Anamnese besteht; intensive Schmerzen angegeben werden, deren Charakterisierung jedoch vage bleibt; keine medizinische Behandlung und Therapie in Anspruch genommen wird; demonstrativ vorgetragene Klagen auf den Sachverständigen unglaubwürdig wirken; schwere Einschränkungen im Alltag behauptet werden, das psychosoziale Umfeld jedoch weitgehend intakt ist. Nicht per se auf Aggravation weist blosses verdeutlichendes Verhalten hin (BGE 141 V 281 E. 2.2.1 S. 287 f. mit Hinweisen).
4.2.2. Wann ein Verhalten (nur) verdeutlichend und unter welchen Voraussetzungen die Grenze zur Aggravation und vergleichbaren leistungshindernden Konstellationen überschritten ist, bedarf einer einzelfallbezogenen, sorgfältigen Prüfung auf einer möglichst breiten Beobachtungsbasis auch in zeitlicher Hinsicht (SVR 2015 IV Nr. 38 S. 121, 9C_899/2014 E. 4.2.2; Urteil 9C_658/2018 vom 11. Januar 2019 E. 4.1).
4.2.3. Besteht im Einzelfall Klarheit darüber, dass solche Ausschlussgründe die Annahme einer Gesundheitsbeeinträchtigung verbieten, so besteht von vornherein keine Grundlage für eine Invalidenrente, selbst wenn die klassifikatorischen Merkmale einer Störung gegeben sein sollten (vgl. Art. 7 Abs. 2 erster Satz ATSG). Soweit die betreffenden Anzeichen neben einer ausgewiesenen verselbständigten Gesundheitsschädigung auftreten, sind deren Auswirkungen derweil im Umfang der Aggravation zu bereinigen (BGE 141 V 281 E. 2.2.2 S. 288 mit Hinweisen; Urteile 8C_825/2018 vom 6. März 2019 E. 8.3 und 9C_501/2018 vom 12. März 2019 E. 5.1).
4.3.
4.3.1. Es ist der Vorinstanz zuzustimmen, dass der Gutachter zahlreiche Inkonsistenzen aufzeigte und dann zum Schluss kam, beim Beschwerdeführer sei eine Aggravation im Sinne eines bewusst übertriebenen Betonens von vorhandenen Krankheitssymptomen festzustellen. Auch wies er darauf hin, dass eine Entschädigungshaltung bestehe. Dr. med. C._ legte aber auf der anderen Seite auch dar, der Beschwerdeführer habe einen ausgeprägten interozeptiven und amplifizierenden Wahrnehmungsstil. Der Versicherte beobachte sich selbst sehr intensiv und mit ängstlicher Besorgnis. Unangenehme Körpersignale bewerte dieser rasch als Zeichen einer Krankheit. Dem Beschwerdeführer falle es schwer, eine sachliche und realistische Einordnung der Eigenwahrnehmung vorzunehmen. Das daraus entstehende Katastrophisieren betreffe bereits die Bewertung, die konsequenterweise ebenfalls übersteigert sei. Aus psychiatrischer Sicht sei eine Symptomausweitung festzustellen, welche diagnostisch als somatisch nicht ausreichend abstützbare Schmerzen bei psychologischen Faktoren oder Verhaltensfaktoren bei andernorts klassifizierten Krankheiten (ICD-10 F54) einzuschätzen sei. Dies entspreche keiner psychischen Erkrankung im eigentlichen Sinn und keiner unbewussten Konfliktverarbeitung, sondern einer erlernten Verhaltensstörung im Sinne einer dysfunktionalen Verarbeitung von Schmerzen. Weiter ist dem Gutachten zu entnehmen, dass bei leistungsorientierten Personen, wie dem Beschwerdeführer, häufig zu beobachten sei, dass diese Schwierigkeiten mit Limitationen hätten, was eine Symptomausweitung durchaus begünstige.
4.3.2. Aus der medizinischen Expertise ergeben sich somit keine Anhaltspunkte, dass der Beschwerdeführer Beschwerden vortäuschte, die überhaupt nicht bestehen. Vielmehr erhellt, dass der Beschwerdeführer vorhandene Krankheitssymptome übertrieben darstellte. Der Gutachter legte einerseits dar, der Beschwerdeführer mache dies bewusst, andererseits stellte Dr. med. C._ beim Beschwerdeführer aber auch eine Verhaltensstörung (Schmerzen bei psychologischen Faktoren oder Verhaltensfaktoren bei andernorts klassifizierten Krankheiten; ICD-10 F54) fest, welche eine eingeschränkte Wahrnehmung des Beschwerdeführers in diesem Bereich zeigt. Die Frage, ob die Grenze eines bloss verdeutlichenden Verhaltens hin zu einer Aggravation überschritten ist, ist aufgrund der gutachterlichen Angaben nicht leicht zu beantworten. Dies kann jedoch offengelassen werden, denn das Vorliegen einer Aggravation führt rechtsprechungsgemäss nicht automatisch zur Verneinung jeglicher versicherten Gesundheitsschädigung, sondern nur insoweit, als die Leistungseinschränkung auf der Aggravation beruht (vgl. E. 4.2.3).
4.3.3. Der Gutachter hielt zur Arbeitsfähigkeit fest, diese müsse im Umfang der Aggravation bereinigt werden. Er prüfte in der Folge inwiefern auf eine Einschränkung der Arbeitsfähigkeit geschlossen werden kann und kam zum Schluss, die rezidivierende depressive Störung, gegenwärtig mittelgradige Ausprägung (ICD-10 F33.9), welche im Vordergrund stehe, schränke die Arbeitsfähigkeit um 40 % ein. Dieses Vorgehen des Gutachters entspricht einer lege artis vorgenommenen Einschätzung.
Ob im Ergebnis aus rechtlicher Sicht von der ärztlichen Arbeitsfähigkeitsschätzung abzuweichen ist - was der Beschwerdeführer bestreitet -, hängt davon ab, ob die Gutachter sich an die massgebenden normativen Rahmenbedingungen gehalten haben und ob und in welchem Umfang deren Feststellungen anhand der rechtserheblichen Indikatoren auf Arbeitsunfähigkeit schliessen lassen (vgl. BGE 144 V 50 E. 4.3 S. 54). Nachdem nebst einer allfälligen Aggravation auch ein verselbständigtes Krankheitsbild vorliegt, hat sich das kantonale Gericht zur gutachterlichen Einschätzung der Leistungsfähigkeit zu äussern. Daher ist die Sache an die Vorinstanz zurückzuweisen.
4.4. Auf die übrigen vom Beschwerdeführer vor Bundesgericht geltend gemachten Rügen betreffend Selbsteingliederung, Verwertbarkeit der (Rest-) Arbeitsfähigkeit und Höhe des Invalideneinkommens ist, da im Hinblick auf das hiervor Dargelegte noch verfrüht, nicht weiter einzugehen.
5.
Die Rückweisung der Sache mit noch offenem Ausgang gilt für die Frage der Auferlegung der Gerichtskosten und den Anspruch auf Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie überhaupt beantragt oder ob das entsprechende Begehren im Haupt- oder Eventualantrag gestellt wird (vgl. BGE 137 V 210 E. 7.1 S. 271). Entsprechend sind die Gerichtskosten der unterliegenden Beschwerdegegnerin aufzuerlegen (Art. 66 Abs. 1 BGG), die dem Beschwerdeführer überdies eine angemessene Parteientschädigung zu entrichten hat (Art. 68 Abs. 1 und 2 BGG).
Das Bundesgericht erkennt:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern vom 27. Mai 2019 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Dezember 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli