Sachverhalt:
A.
Der 1971 geborene A._ war zuletzt als LKW-Fahrer für die B._ GmbH tätig. Am 29. Juni 2015 meldete er sich unter Hinweis auf eine aneurysmatische Subarachnoidalblutung bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern führte in der Folge erwerbliche und medizinische Abklärungen durch. Sie gewährte namentlich ein Belastbarkeitstraining in der GEWA und ein Aufbautraining, gefolgt von einem Arbeitsversuch mit begleitendem Coaching. Die Eingliederungsbemühungen mündeten in einer Anstellung ab 1. März 2018 als Chauffeur für die D._ AG) in einem 60 %-Pensum, wobei die IV-Stelle in den ersten drei Monaten Einarbeitungszuschüsse leistete. Nachdem die IV-Stelle eine versicherungsmedizinische Beurteilung beim Regionalen Ärztlichen Dienst (RAD) eingeholt hatte, kündigte sie A._ die Zusprache einer befristeten ganzen Invalidenrente vom 1. Januar 2016 bis 30. April 2017 an (Vorbescheid vom 2. November 2018). Aufgrund der Einwände des Versicherten veranlasste die IV-Stelle eine neuropsychologische Untersuchung durch den RAD (Untersuchungsbericht vom 11. März 2019). Gestützt auf einen weiteren Bericht dieses Dienstes stellte die Verwaltung A._ mit neuem Vorbescheid vom 10. April 2019 wiederum eine befristete ganze Rente (1. Januar 2016 bis 30. April 2017) in Aussicht, woran sie mit Verfügung vom 11. September 2019 festhielt.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 5. Februar 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der angefochtene Entscheid sei aufzuheben und es sei ihm auch ab 1. Mai 2017 eine Invalidenrente zuzusprechen. Evenutaliter sei die Sache unter Aufhebung des angefochtenen Entscheids zur Neubeurteilung an die IV-Stelle oder Vorinstanz zurückzuweisen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (<ref-ruling> E. 8.1 S. 153). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2 mit Hinweisen). Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 9C_629/2015 vom 24. November 2015 E. 1.2 mit diversen Hinweisen).
1.3. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.), die das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (vgl. E. 1.1 hiervor). Die konkrete Beweiswürdigung betrifft ebenfalls eine Tatfrage. Dagegen geht es bei der Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln um frei überprüfbare Rechtsfragen (<ref-ruling> E. 3.2 und 4 S. 397 ff.; SVR 2014 IV Nr. 1 S. 1, 9C_228/2013 E. 1.2; 2014 IV Nr. 20 S. 72, 9C_460/2013 E. 1.3).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht zu Recht einen über den 30. April 2017 hinaus reichenden Rentenanspruch des Versicherten verneinte.
2.2. Die Vorinstanz hat die für die Beurteilung der Streitsache massgeblichen materiell- und beweisrechtlichen Grundlagen gemäss Gesetz und Rechtsprechung zutreffend dargelegt, worauf verwiesen wird. Dies betrifft namentlich die Bestimmungen und Grundsätze zum Begriff der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zum Anspruch auf eine Invalidenrente und deren Umfang (Art. 28 Abs. 1 und 2 IVG) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 4.4 S. 469 f. und E. 4.7 S. 471; <ref-ruling> E. 3 S. 352 f.). Gleiches gilt hinsichtlich der Voraussetzungen für die rückwirkende Zusprechung einer befristeten Invalidenrente (<ref-ruling> E. 6.1; Urteil 8C_334/2018 vom 8. Januar 2019 E. 2.2).
2.3. Rechtsprechungsgemäss sind die Revisionsbestimmungen (Art. 17 ATSG) bei der rückwirkenden Zusprechung einer abgestuften oder befristeten Rente analog anwendbar (<ref-ruling> E. 6.1 S. 264 mit Hinweisen), weil noch vor Erlass der ersten Rentenverfügung eine anspruchsbeeinflussende Änderung eingetreten ist mit der Folge, dass dann gleichzeitig die Änderung mitberücksichtigt wird. Wird rückwirkend eine abgestufte oder befristete Rente zugesprochen, sind einerseits der Zeitpunkt des Rentenbeginns und anderseits der in Anwendung der Dreimonatsfrist von Art. 88a IVV festzusetzende Zeitpunkt der Anspruchsänderung die massgebenden Vergleichszeitpunkte (Urteile 8C_419/2018 vom 11. Dezember 2018 E. 2.2 sowie 8C_458/2017 vom 6. August 2018 E. 2 mit Hinweisen).
3.
3.1. Die Vorinstanz stellte im Wesentlichen gestützt auf die Aktenberichte der RAD-Ärztin Dr. med. C._, Fachärztin für Neurologie, vom 22. Oktober 2018 und 11. März 2019 fest, dass der Beschwerdeführer nach einer aneurysmatischen Hirnblutung im Januar 2015 100 % arbeitsunfähig gewesen sei. Ab Januar 2017 sei ihm aber eine Tätigkeit als Chauffeur in einem Pensum von 80 % mit einer Leistungsminderung von 10 % zumutbar. Die RAD-Ärztin habe überzeugend ausgeführt, dass eine leichte neuropsychologische Störung höchstens zu einer niedrigprozentigen Arbeitsunfähigkeit führe. Andere medizinische Beurteilungen, welche die Einschätzung der Dr. med. C._ in Zweifel zu ziehen vermöchten, fänden sich nicht. So habe der Hausarzt in seinem Verlaufsbericht vom 13. Dezember 2016 eine vollständige Arbeitsunfähigkeit als Lastwagenchauffeur nur bis Ende 2016 attestiert. Auch die Ergebnisse der Abklärung der Verkehrseignung würden darauf hinweisen, dass beim Beschwerdeführer keine schwerwiegenden Einschränkungen vorlägen, andernfalls die behandelnden Ärzte die seit März 2018 in einem 60 %-Pensum ausgeübte Tätigkeit in der Personenbeförderung umgehend hätten verbieten müssen. Ein Revisionsgrund sei aufgrund der Veränderung per Januar 2017 gegeben. Aufgrund der vollständigen Arbeitsunfähigkeit für sämtliche Tätigkeiten ab Januar 2015 bestehe ab Januar 2016 Anspruch auf eine ganze Invalidenrente. Die gesundheitliche Verbesserung ab Januar 2017 sei nach drei Monaten zu berücksichtigen (Art. 88a Abs. 1 IVV). Das Valideneinkommen berechnete das kantonale Gericht anhand der Angaben der letzten Arbeitgeberin, was unter Berücksichtigung der Nominallohnentwicklung bis zum Jahr 2017 ein Einkommen von Fr. 68'582.50 ergab. Das Invalideneinkommen ermittelte sie gestützt auf Tabellenlöhne (LSE 2016, TA1, Männer, Kompetenzniveau 2, Ziff. 49-53 [Verkehr und Lagerei]), woraus bei einer Arbeitsfähigkeit von 80 % mit 10%iger Leistungsminderung ein Einkommen von Fr. 52'447.80 resultierte. Der entsprechende Einkommensvergleich ergab einen Invaliditätsgrad von 24 %, weshalb die Vorinstanz die von der IV-Stelle per 30. April 2017 verfügte Rentenaufhebung schützte. Wie das kantonale Gericht weiter ausführte, würde sich an diesem Ergebnis auch nichts ändern, wenn für das Invalideneinkommen ab März 2018 (Beginn der Tätigkeit als Chauffeur für die D._ AG) auf das in einem 60 %-Pensum effektiv erzielte Einkommen von Fr. 43'500.- abgestellt würde. Denn der Invaliditätsgrad würde diesfalls gerundet 37 % betragen.
4.
Was der Beschwerdeführer dagegen vorbringt, verfängt nicht.
4.1. Von einer ungenügenden Begründung des angefochtenen Entscheids und damit einer Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) kann nicht gesprochen werden, da eine sachgerechte Anfechtung möglich war (vgl. <ref-ruling> E. 4.3.2 S. 436 mit Hinweisen).
4.2. Sodann hat die Vorinstanz richtig erkannt, dass die Beurteilung der RAD-Ärztin Dr. med. C._ schlüssig ist und im Ergebnis überzeugt. Danach leidet der Beschwerdeführer bei einem Zustand nach aneurysmatischer Subarachnoidalblutung im Januar 2015 ohne neurologische, ophthalmologische oder fassbare neurokognitive Folgen noch an einer verminderten Belastbarkeit. Das Aneurysma sei neurochirurgisch ausgeschaltet worden und ein Rezidiv sei nicht zu befürchten. Die verkehrsmedizinischen Untersuchungen hätten zudem gezeigt, dass eine Fahreignung für die Gruppe 2 unter Auflagen gegeben sei. Zwei Jahre nach der aneurysmatischen Subarachnoidalblutung sei von einem stabilen Gesundheitszustand auszugehen. Seither sei eine Tätigkeit als Chauffeur mit regelmässigen und vorhersehbaren, nicht zu langen Arbeitszeiten bei einem Pensum von 80 % mit einer Leistungsminderung von 10 % möglich. Dr. med. C._ wies weiter darauf hin, dass eine leichte neuropsychologische Störung, wie sie anlässlich der Untersuchung vom 6. März 2019 im RAD festgestellt worden sei, höchstens zu einer niedrigprozentigen Arbeitsunfähigkeit von 10 bis 30 % führe, weshalb sich an der bisherigen Einschätzung der Arbeitsfähigkeit (80 % mit einer Leistungsminderung von 10 %; vgl. Stellungnahme vom 22. Oktober 2018) und am Zumutbarkeitsprofil nichts ändere. Dies leuchtet ein. Mit seinen Vorbringen vermag der Beschwerdeführer die Beweiskraft der RAD-Beurteilung nicht entscheidend in Frage zu stellen. Er kann sich denn auch auf keinen ärztlichen Bericht stützen, der die Einschätzung der RAD-Ärztin nur schon gering in Zweifel ziehen könnte. An diesem Ergebnis ändert auch der Einwand des Beschwerdeführers nichts, es habe sich im Rahmen der aktuell ausgeübten Tätigkeit bestätigt, dass er kein 60 % übersteigendes Pensum bewältigen könne, erging doch die Beurteilung der RAD-Ärztin in Kenntnis dieses effektiv geleisteten Pensums (vgl. Stellungnahme vom 22. Oktober 2018). Im Übrigen könnte der Beschwerdeführer auch aus der geltend gemachten Arbeitsfähigkeit von 60 % nichts zu seinen Gunsten ableiten (vgl. E. 4.6 hiernach). Soweit der Beschwerdeführer in Bezug auf die neuropsychologische Untersuchung vom 6. März 2019 im RAD eine zu kurze Untersuchungsdauer geltend macht, kann ihm nicht gefolgt werden, dauerte die Untersuchung doch dreieinhalb Stunden.
4.3. Inwiefern die Vorinstanz den Sachverhalt offensichtlich unrichtig (vgl. E. 1.2 hiervor) festgestellt haben soll, indem sie gestützt auf die Einschätzung der RAD-Ärztin ab Januar 2017 von einer gesundheitlichen Verbesserung aufgrund eines stabilen Gesundheitszustands des Versicherten zwei Jahre nach der aneurysmatischen Subarachnoidalblutung sowie einer Arbeitsfähigkeit von 80 % mit 10%iger Leistungsminderung ausging, ist nach dem Gesagten nicht ersichtlich. Ebenfalls nicht zu beanstanden ist, dass das kantonale Gericht von einem hinreichend abgeklärten medizinischen Sachverhalt ausging und auf die Einholung eines verwaltungsexternen Gutachtens verzichtete. Darin kann keine Verletzung der Untersuchungspflicht (Art. 61 lit. c ATSG) erblickt werden.
4.4. Hinsichtlich der Bemessung des Invaliditätsgrades hat das kantonale Gericht überzeugend dargelegt, dass der vom Beschwerdeführer behauptete berufliche Aufstieg im Sinne eines Berufswechsels zum - besser bezahlten - Chauffeur für die D._ AG bei Eintritt des Gesundheitsschadens nicht erstellt sei. So könne allein aus dem Umstand, dass der Versicherte im Jahr 2000 den Führerausweis für die Fahrzeugkategorie D (Personentransport) erworben habe, nicht geschlossen werden, es wäre 15 Jahre später eine berufliche Weiterentwicklung konkret geplant gewesen. Der Beschwerdeführer vermag nicht aufzuzeigen, inwiefern diese vorinstanzliche Sachverhaltsfeststellung offensichtlich unrichtig sein soll (vgl. E. 1.2 hiervor). Er begnügt sich stattdessen mit appellatorischer Kritik am angefochtenen Entscheid, auf die nicht weiter einzugehen ist (<ref-ruling> E. 2.3 S. 266).
4.5. Zutreffend ist im Weiteren die Erwägung der Vorinstanz, wonach die dem Beschwerdeführer ausgerichteten, auf den jeweiligen Lohnabrechnungen separat ausgewiesenen Pauschalspesen bei der Berechnung des Valideneinkommens nicht zu berücksichtigen sind. So werden die beiden massgeblichen hypothetischen Vergleichseinkommen zur Bestimmung des Invaliditätsgrades mit den AHV-rechtlichen beitragspflichtigen Einkünften aus unselbstständiger oder selbstständiger Erwerbstätigkeit parallelisiert (vgl. Art. 25 Abs. 1 Ingress IVV). Für die Invaliditätsbemessung sind also grundsätzlich nur Einkünfte zu berücksichtigen, welche der AHV-rechtlichen Beitragspflicht unterliegen würden. Dies trifft auf Unkostenentschädigungen, wie sie hier zur Diskussion stehen, gerade nicht zu (Art. 9 Abs. 1 zweiter Satz AHVV). Es besteht zudem kein Anlass zur Annahme - dies wird im Übrigen auch nicht substanziiert geltend gemacht -, dass die als Spesenersatz ausbezahlte Entschädigung als versteckte Lohnausschüttung zu qualifizieren wäre. Die Nichtberücksichtigung der Pauschalspesen durch die IV-Stelle und die Vorinstanz verletzt somit kein Bundesrecht (vgl. Urteile 8C_363/2017 vom 22. November 2017 E. 4; 8C_430/2010 vom 28. September 2010 E. 5.1; 9C_278/2010 vom 26. Mai 2010 E. 2.3; 8C_465/2009 vom 12. Februar 2010 E. 4.1; I 756/06 vom 14. Mai 2007 E. 3.3 f.). Entgegen der Auffassung des Beschwerdeführers ist für die Berechnung des Valideneinkommens im Übrigen entscheidend, was er ohne Gesundheitsschaden im Zeitpunkt des frühestmöglichen Rentenbeginns überwiegend wahrscheinlich als Gesunder tatsächlich verdienen würde, und nicht, was er bestenfalls verdienen könnte (<ref-ruling> E. 3.1 S. 59 mit Hinweisen). Nicht massgebend ist demnach, was er als Gesunder als LKW-Fahrer im Falle eines Stellenwechsels bei einem anderen Arbeitgeber hätte verdienen können.
4.6. Bei der Berechnung des Invalideneinkommens stellte die Vorinstanz auf die LSE 2016, Tabelle TA1, Ziffern 49-53 (Verkehr und Lagerei) ab. Der Wirtschaftszweig Verkehr und Lagerei umfasst nicht nur die Tätigkeit als LKW-Fahrer, sondern auch die unbestritten zumutbare Tätigkeit als Chauffeur für die D._ AG. Der Einwand des Beschwerdeführers, die Vorinstanz sei bei der Ermittlung des Invalideneinkommens zu Unrecht von einer Tätigkeit als LKW-Chauffeur ausgegangen, ist demnach nicht stichhaltig. Auch die übrigen Bemessungsfaktoren sind nicht zu beanstanden, sodass mit dem kantonalen Gericht für das Jahr 2017 ausgehend von einer 80%igen Arbeitsfähigkeit und einer 10%igen Leistungsminderung von einem Invalideneinkommen von Fr. 52'447.80 auszugehen ist. Die Gegenüberstellung mit dem Valideneinkommen von Fr. 68'582.50 ergibt einen Invaliditätsgrad von gerundet 24 %. Anzufügen bleibt, dass selbst bei Annahme einer 60%igen Arbeitsfähigkeit kein rentenbegründender Invaliditätsgrad resultieren würde. So ergäbe sich - bei im Übrigen unveränderten Zahlen - ein Invalideneinkommen von Fr. 43'706.50 (5'710 x 12 : 40 x 42,4 x 0,6 : 102,3 x 102,6) und damit eine Erwerbseinbusse von 36 %. Schliesslich hat das kantonale Gericht nachvollziehbar dargelegt, dass der Beschwerdeführer aus dem Abstellen auf das effektiv erzielte Einkommen (Fr. 43'500.- pro Jahr) als Postautochauffeur ab März 2018 ebenfalls nichts zu seinen Gunsten ableiten könnte (Invaliditätsgrad von gerundet 37 %). Dagegen erhebt der Beschwerdeführer zu Recht keine Einwände. Es bedarf deshalb im vorliegenden Verfahren keiner Weiterungen zur Frage, ob der Versicherte an seiner aktuellen Stelle die ihm verbliebene Arbeitsfähigkeit in zumutbarer Weise voll ausschöpft (vgl. <ref-ruling> E. 2.2 S. 296 f.).
5.
Insgesamt zeigt der Beschwerdeführer somit nicht auf und es ist auch nicht ersichtlich, dass der angefochtene Entscheid in tatsächlicher Hinsicht offensichtlich unrichtig oder anderweitig bundesrechtswidrig ist. Die Beschwerde ist unbegründet und abzuweisen.
6.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Wüest