Sachverhalt:
A.
A._, geb. 1955, meldete sich am 11. November 2013 unter Hinweis auf einen am 18. Mai 2012 erlittenen kleinen ischämischen Insult (Schlaganfall) bei der IV-Stelle Bern zum Leistungsbezug an. Die IV-Stelle verneinte mit Verfügung vom 10. November 2015 einen Anspruch auf Leistungen der Invalidenversicherung, weil keine Invalidität im Sinn des Gesetzes bestehe. Das Verwaltungsgericht des Kantons Bern wies die dagegen erhobene Beschwerde mit Entscheid vom 10. Januar 2017 ab. Mit Urteil 8C_135/2017 vom 4. September 2017 hob das Bundesgericht diesen Entscheid auf und wies die Sache zu neuer Entscheidung an das Verwaltungsgericht zurück.
B.
Das Verwaltungsgericht holte bei der Ärztliches Begutachtungsinstitut GmbH, Basel (ABI), ein polydisziplinäres Gutachten vom 28. November 2018 sowie eine ergänzende Stellungnahme vom 25. Februar 2019 ein. Gestützt darauf wies es die Beschwerde mit Entscheid vom 17. Juni 2019 erneut ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, die IV-Stelle sei in Aufhebung des angefochtenen Entscheids zu verpflichten, ihm ab 1. Mai 2014 eine halbe Rente auszurichten, zuzüglich Verzugszins seit wann rechtens. Eventualiter sei die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 f.; <ref-ruling> E. 1.4.1 S. 254). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Der Umstand, dass erst das kantonale Gericht das hier massgebende Gutachten eingeholt und gestützt darauf neue Sachverhaltsfeststellungen getroffen hat, führt entgegen dem Beschwerdeführer nicht zu einem anderen Resultat hinsichtlich der bundesgerichtlichen Prüfungsbefugnis. Denn damit ist es seiner Untersuchungspflicht gemäss <ref-law> nachgekommen, die insbesondere auch die Erhebung von Beweisen umfasst. Im Übrigen stand ihm die volle Kognition zu, worauf es im angefochtenen Entscheid zutreffend hinwies.
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie einen Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung verneinte. Im Zentrum steht dabei die Frage, ob sich das kantonale Gericht zu Recht auf das Gerichtsgutachten vom 28. November 2018 abstützte.
2.2. Die Vorinstanz legte die hier massgebenden rechtlichen Grundlagen zutreffend dar. Dies betrifft insbesondere die Ausführungen zur Invalidität (Art. 7 Abs. 1 und Art. 8 Abs. 1 ATSG), zur Bemessung des Rentenanspruchs (<ref-law>), zur Bedeutung medizinischer Berichte und Gutachten und zum Beweiswert von Gerichtsgutachten, von denen das Gericht nicht ohne zwingende Gründe abweichen darf (<ref-ruling> E. 6.2.3.2 S. 282; <ref-ruling> E. 4.4 S. 469 f.; <ref-ruling> E. 3b/aa S. 352 f.). Darauf wird verwiesen.
3.
3.1. Die Vorinstanz mass dem Gerichtsgutachten vom 28. November 2018 Beweiswert zu. Es gebe keine zwingenden Gründe, davon abzuweichen. Ebensowenig bestehe Anlass zu einer (erneuten) Verlaufsbegutachtung.
3.2. Die Gutachter der ABI stellten als Diagnosen mit Auswirkung auf die Arbeitsfähigkeit eine anhaltende, leichte bis mittelgradige depressive Episode, sowie eine erhöhte Tagesschläfrigkeit, multifaktoriell bedingt bei schwerem obstruktivem Schlafapnoesyndrom, neu diagnostiziert und bisher unbehandelt, bei einer Differentialdiagnose Co-Faktoren post stroke fatigue, psychogene Störung sowie bei einem normalen Resultat im multiplen Schlaflatenz-Test fest. In der interdisziplinären medizinischen Beurteilung führten sie aus, dass die Evaluation der Hauptsymptome des Exploranden mit rascher Ermüdbarkeit, erhöhter Schlafneigung vor allem am Nachmittag, der verminderten Konzentration und unkontrollierten Zuckungen im Vordergrund gestanden hätten. Aufgrund von Unklarheiten und Inkonsistenzen in der primären neurologischen Untersuchung sei eine ergänzende Schlaflaboruntersuchung durchgeführt worden. Diese habe unerwartet ein schweres obstruktives Schlafapnoesyndrom ergeben. Im Schlaflatenztest wäre bei der vom Exploranden angegebenen Symptomatik eine deutlich verminderte Einschlafzeit zu erwarten gewesen, als es dann tatsächlich der Fall gewesen sei. Die erwähnten Zuckungen hätten keinem objektiven neurologischen Korrelat zugeordnet werden können. Die ergänzend durchgeführte neuropsychologische Untersuchung habe grundsätzlich keine auffälligen Befunde ergeben, bis auf die im Zusammenhang mit der erhöhten Ermüdbarkeit auftretende verminderte Konzentration im Verlauf der Untersuchung, was wiederum zur Schlafstörung passen würde. Insgesamt sei somit aus neurologisch-schlafmedizinischer und neuropsychologischer Sicht ein überwiegend funktionelles, also überlagertes Geschehen festzustellen. Gleichzeitig bestehe ein objektiver Kern in Form des unbehandelten, schweren Schlafapnoesyndroms, weshalb eine merkliche Leistungseinbusse durch diesen Befund grundsätzlich begründbar sei. Ob bei adäquater Behandlung des Schlafapnoesyndroms dann die Symptomatik verschwände, sei eine andere Frage. Würde sie bleiben, wäre das ganze Geschehen durch die funktionelle Überlagerung erklärt und der Befund des schweren Schlafapnoesyndroms quasi als asymptomatischer Zufallsbefund zu werten.
Zur Arbeitsfähigkeit hielten die Experten der ABI fest, dass bezogen auf ein 100%-Pensum für die angestammte Tätigkeit (im Zeitpunkt des Infarkts) als Leiter Qualitätskontrolle von einer Arbeits- und Leistungsfähigkeit bei unbehandeltem Schlafapnoesyndrom von 50 % auszugehen sei. Stelle man auf die Tätigkeit als Abwart oder auf den ursprünglich erlernten Beruf als Maschinenschlosser ab, sei eine Arbeits- und Leistungsfähigkeit von 60 % anzunehmen. Bei behandeltem Schlafapnoesyndrom würde in beiden Tätigkeiten eine Arbeits- und Leistungsfähigkeit von 80 % vorliegen. Als angepasste Tätigkeiten seien jegliche leichten bis mittelschweren Tätigkeiten möglich bei einer maximal möglichen Präsenzzeit von sieben bis acht Stunden pro Tag. Dabei bestehe ein leicht reduziertes Rendement mit entsprechender Leistungseinbusse. Bezogen auf ein 100-%-Pensum im freien Arbeitsmarkt bestehe eine 80%ige Arbeits- und Leistungsfähigkeit.
4.
4.1. Der Beschwerdeführer macht im Wesentlichen geltend, das Gutachten sei bezüglich der Einschätzungen der Arbeitsfähigkeit in sich widersprüchlich und unklar, so dass die Vorinstanz zu Unrecht darauf abgestellt habe. Zunächst ergebe sich ein Widerspruch daraus, dass ihm bei unbehandeltem Schlafapnoesyndrom für "alle Tätigkeiten" (mithin auch für angepasste Tätigkeiten) eine "aktuelle Arbeitsfähigkeit" von fünf bis sechs Stunden pro Tag (bzw. 60 %) attestiert werde, während bei den angepassten Tätigkeiten von einer Präsenz von sieben bis acht Stunden pro Tag ausgegangen werde. Zwar trifft es zu, wie der Beschwerdeführer vorbringt, dass sich die Vorinstanz im angefochtenen Entscheid dazu nicht äusserte. Immerhin hatte sie die Gutachter aber damit konfrontiert, und diese hatten in ihrer Stellungnahme vom 25. Februar 2019 einen Widerspruch unter erneutem Hinweis auf den möglichen Einfluss des Schlafapnoesyndroms verneint. Weiter übersieht der Beschwerdeführer, dass die Beurteilung der Arbeitsfähigkeit in einer angepassten Tätigkeit ebenfalls unter der Annahme eines behandelbaren Schlafapnoesyndroms erfolgt war. Sodann gilt es darauf hinzuweisen, dass die Gutachter der ABI, wie bereits erwähnt, auf eine erhebliche funktionelle Überlagerung der Symptomatik schlossen und die Authentizität der Symptome verneinten, falls diese trotz adäquater Schlafapnoe-Behandlung fortbestünden (s. E. 3.2). Mit andern Worten wäre eine Arbeitsfähigkeit von fünf bis sechs Stunden nur dann eventuell (retrospektiv) zu bejahen, wenn die Behandlung der Schlafapnoe tatsächlich Erfolge gezeigt hätte bzw. zeigen würde. Der behandelnde Pneumologe, Dr. med. B._, Facharzt für Pneumologie und Allgemeine Innere Medizin FMH, berichtete am 9. April 2019 allerdings lediglich von einer allenfalls geringen Verbesserung der Tagesschläfrigkeit. Folglich ist mit den Gutachtern eine funktionelle Überlagerung und damit von einer seit Oktober bzw. Dezember 2013 bestehenden Arbeitsunfähigkeit von 20 % (für angepasste bzw. die angestammten Tätigkeiten) auszugehen. Im Übrigen scheint der Beschwerdeführer selbst ebenfalls der Auffassung zu sein, dass die kognitiven Einschränkungen nicht auf die Schlafapnoe zurückzuführen seien. Stattdessen macht er den Hirninfarkt dafür verantwortlich, was von den Gutachtern der ABI allerdings nicht bestätigt wurde.
4.2. Einen Widerspruch sieht der Beschwerdeführer ferner darin, dass in der Gesamtbeurteilung eine Arbeitsfähigkeit von sieben bis acht Stunden täglich bzw. von 80 % attestiert werde, während sowohl das neurologische als auch das neuropsychologische Teilgutachten jeweils von einer Arbeitsfähigkeit von fünf bis sechs Stunden bzw. einem zumutbaren Pensum vom 60 % ausgegangen seien. Auch damit habe sich die Vorinstanz nicht auseinandergesetzt.
4.2.1. Bezüglich der neurologischen Beurteilung kann dem nicht gefolgt werden, weil sich der neurologische Gutachter auch zum Einfluss der Schlafapnoe und den Behandlungsmöglichkeiten äusserte. Er hielt fest, dass bei korrekter Behandlung ein vollständiger Rückgang der dadurch verursachten Beschwerden zu erwarten sei und sich anschliessend aus neurologischer und schlafmedizinischer Sicht eine normale Arbeits- und Leistungsfähigkeit ergebe.
4.2.2. Die Beurteilung eines (Neuro-) Psychologen, der, wie der neuropsychologische Gutachter der ABI, lic. phil. C._, Fachpsychologe für Neuropsychologie FSP, nicht über eine fachärztliche Qualifikation verfügt, kann nicht allein massgebend sein für die Einschätzung der Arbeitsfähigkeit (vgl. Urteile 8C_450/2018 vom 16. Oktober 2018 E. 5.1; 9C_134/2015 vom 6. Oktober 2014 E. 5.2). Vorliegend zeigte der Gutachter immerhin auf, dass die Arbeitsfähigkeit weniger durch grundlegende intellektuell/kognitive Einschränkungen als vielmehr durch die verminderte Belastbarkeit und die erhöhte Tagesschläfrigkeit beeinträchtigt und somit vor allem zeitlich limitiert sei. So habe der Beschwerdeführer erst nach mehrstündiger Belastung Stressanfälligkeit und einen Leistungseinbruch gezeigt. Zwar konnte dieser Experte gewisse Einschränkungen objektivieren, jedoch nicht in dem Ausmass wie Dr. med. D._, Fachärztin für Neurologie/Verhaltensneurologie FMH, im März 2014 (wobei auch der neurologische Gutachter deren Bericht als rudimentär und deutlich mangelhaft bezeichnete). Lic. phil. C._ wollte zudem nicht ausschliessen, dass die festgestellten Beeinträchtigungen durch psychische Gründe oder durch die langjährigen medikamentösen Therapien mit verursacht wurden. Folglich ergibt sich auch aus der neuropsychologischen Beurteilung kein Widerspruch, obwohl hier nicht explizit auf das Schlafapnoesyndrom hingewiesen wurde. Schliesslich wird auf diese Beurteilung im Gesamtkonsens ebenfalls Bezug genommen. Deswegen - und mangels anderweitiger Anhaltspunkte für eine gegenteilige Annahme - ist ohne Weiteres davon auszugehen, dass sich lic. phil. C._ dem Konsens angeschlossen hat (wie der Beschwerdeführer im Übrigen selbst vermutet).
4.2.3. Etwas anderes ergibt sich auch nicht aus dem Umstand, dass die Experten der ABI das Auftreten des Schlafapnoesyndroms auf frühestens Mai 2014 festsetzten und dessen Vorliegen im März 2014 (d.h. zur Zeit der Beurteilung durch Dr. med. D._) noch verneinten. Denn zum einen erachteten sie die Beurteilung der Dr. med. D._ im März 2014 ohnehin als wenig valide. Zum andern wiesen sie selbst einschränkend darauf hin, dass retrospektiv nicht zu eruieren sei, wann die Schlafapnoe relevant geworden sei, so dass die entsprechende Angabe der Arbeitsfähigkeit arbiträr sei.
4.3. Der Beschwerdeführer rügt schliesslich, dass die Vorinstanz weiteren Abklärungsbedarf zu Unrecht verneint habe, obwohl der behandelnde Pneumologe einen solchen als gegeben erachtet habe. Es trifft zu, dass die Vorinstanz sich unter anderem auf einen Wikipedia-Artikel abstützte. Die sich auf dieser Plattform befindenden Informationen sind wenig aussagekräftig und bilden für sich allein keine verlässlichen medizinischen Entscheidgrundlagen (Urteile 8C_169/2018 vom 31. August 2018 E. 6.3; 9C_434/2015 vom 11. Mai 2016 E. 4.2.3). Dennoch vermag der Beschwerdeführer daraus nichts zu seinen Gunsten abzuleiten. Denn zum einen verwendete das kantonale Gericht den Wikipedia-Eintrag lediglich zur kurzen Erläuterung des Begriffs des ESS-Werts (Epworth Sleepiness Scale; vgl. Urteil 4A_217/2018 vom 2. Oktober 2018 E. 4.3). Zum andern zeigte es auf, dass die Gutachter der ABI schon vor Beginn der Schlafapnoe-Behandlung von einer erheblichen funktionellen Überlagerung der Symptome (insbesondere der Müdigkeit) ausgingen, die sie für nicht authentisch erachteten, zumal ein deutlich vermehrter Schlafdruck tagsüber aufgrund des völlig normalen Einschlaflatenztests nicht objektivierbar gewesen sei (s. auch vorne E.3.2 und 4.1). Die Vorinstanz verwies sodann auf die Ausführungen des neurologischen Gutachters, wonach Patienten, die im Anschluss an einen Hirninfarkt eine Fatigue-Symptomatik entwickeln, eine durchgehende vermehrte Müdigkeit beklagen würden; dies sei beim Beschwerdeführer jedoch nicht der Fall, seine Müdigkeit sei vielmehr eindeutig an den Tagesablauf gebunden bzw. trete immer (erst) am Nachmittag auf. Dr. med. B._ habe sich mit diesen überzeugenden Ausführungen nicht auseinandergesetzt. Auch der Beschwerdeführer setzt diesen zutreffenden Darlegungen der Vorinstanz und der Gutachter nichts entgegen, so dass es damit sein Bewenden hat. Im Ergebnis verletzte die Vorinstanz kein Bundesrecht, wenn sie von weiteren Abklärungen absah.
5.
Aufgrund des Gesagten ist mit der Vorinstanz für die angestammte Tätigkeit seit Dezember 2013 und für angepasste Tätigkeiten seit Oktober 2013 von einer 80%igen Arbeitsfähigkeit auszugehen. Entgegen der Behauptung des Beschwerdeführers werden diese Zeitpunkte im Gutachten der ABI genannt und begründet. Damit ist auch nicht zu beanstanden, dass die Vorinstanz auf einen Einkommensvergleich verzichtete, zumal der Beschwerdeführer die Anstellung bei der E._ gmbh aus wirtschaftlichen Gründen verlor. Die Beschwerde ist abzuweisen.
6.
Bei diesem Verfahrensausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Dezember 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart