Sachverhalt:
A.
A.a. Der 1960 geborene A._ war zuletzt seit Juli 2003 als Stapelfahrer bei der B._ AG angestellt. Am 8. Februar 2005 fuhr er mit einem Hubstapler in einen Eisenträger, woraufhin Dr. med. C._ ein Wiplash-Trauma diagnostiziert und am 22. März 2005 die Behandlung abgeschlossen hatte. Nach einer Rückfallmeldung vom 2. März 2006 verneinte die Schweizerische Unfallversicherungsanstalt mit Verfügung 1. September 2006 und Einspracheentscheid vom 28. November 2006 ihre Leistungspflicht zufolge mangelnder Kausalität der geklagten Beschwerden mit dem Unfallereignis vom 8. Februar 2005. Dieser Entscheid wurde letztinstanzlich mit Urteil des Bundesgerichts vom 26. September 2008 bestätigt.
A.b. Am 31. Mai 2006 hatte sich A._ bei der Invalidenversicherung zum Leistungsbezug angemeldet. Nach diversen Abklärungen medizinischer und beruflicher Art sowie gestützt auf ein polydisziplinäres Gutachten des Instituts D._ vom 5. September 2009 sprach die IV-Stelle des Kantons Aargau A._ nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 9. Juli 2010 ab 1. Mai 2007 eine halbe, ab 1. November 2007 eine ganze und ab 1. Juni 2008 befristet bis 31. Juli 2009 wiederum eine halbe Rente zu. In teilweiser Gutheissung der dagegen erhobenen Beschwerde hob das Versicherungsgericht des Kantons Aargau mit Entscheid vom 29. März 2011 die Verfügung der IV-Stelle vom 9. Juli 2010 auf und wies die Sache zu weiteren Abklärungen und zur Neuverfügung an die IV-Stelle zurück.
A.c. Nach Einholung eines polydisziplinären Gutachtens des Zentrums E._ vom 26. Juli 2012 verneinte die IV-Stelle nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 13. Dezember 2012 einen Rentenanspruch und stellte eine separate Verfügung für die Rückerstattung der in der Zeit vom 1. Mai 2007 bis 31. Juli 2009 zu Unrecht bezogenen Rentenleistungen in Aussicht.
B.
Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 13. August 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ unter Beibringung neuer Arztberichte beantragen, es seien ihm in Aufhebung des Entscheids des Versicherungsgerichts des Kantons Aargau vom 13. August 2013 und der Verfügung der IV-Stelle vom 13. Dezember 2012 rückwirkend die gesetzlichen Leistungen zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen im Sinne der Anordnung eines Gerichtsgutachtens an die Vorinstanz zurückzuweisen, subeventualiter sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. Mit Eingabe vom 25. September 2013 lässt A._ den Austrittsbericht der Klinik F._ vom 13. April 2013 über den stationären Aufenthalt vom 18. Januar bis 28. Februar 2013 nachreichen.
IV-Stelle und die AXA Stiftung Berufliche Vorsorge schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> und <ref-law>).
1.3. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum handelt es sich grundsätzlich um eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten Rechtsfragen (<ref-ruling> E. 5.1 S. 232).
2.
2.1. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Derartige Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheids liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (Urteil 9C_920/2008 vom 16. April 2009 E. 2.3, nicht publ. in: <ref-ruling>, aber in: SVR 2009 BVG Nr. 30 S. 109). Das Vorbringen von Tatsachen oder Beweismitteln, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (sog. echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_843/2013 vom 14. März 2014 E. 2.1 mit Hinweisen).
2.2. Die im Verfahren vor Bundesgericht neu aufgelegten Berichte des Dr. med. G._, Facharzt für Psychiatrie und Psychotherapie FMH, und lic. phil. H._, Fachpsychologe für Psychotherapie FSP, Psychiatrisch-Psychotherapeutische Praxengemeinschaft, vom 6. September 2013 sowie des Dr. med. I._, Oberarzt Rheumaklinik und Institut für Physikalische Medizin und Rehabilitation, Spital K._, vom 9. September 2013, sind erst nach dem am 13. August 2013 erlassenen Entscheid verfasst worden und können damit als sogenannte echte Noven im vorliegenden Prozess nicht beachtet werden.
2.3. Bei den ebenfalls erst letztinstanzlich beigebrachten Berichten der Klinik F._ vom 13. April 2013 über den Aufenthalt vom 18. Januar bis 28. Februar 2013, des Dr. med. Jeger, Allgemeinarzt, Olten, vom 12. Juli 2013, sowie des Dr. med. I._ vom 15. Juli 2013 handelt es sich dagegen um sogenannte unechte Noven. Gründe, die ein ausnahmsweises Berücksichtigen dieser Aktenstücke im Sinne von <ref-law> erlauben würden, sind weder geltend gemacht noch erkennbar. Sie dürfen daher ebenfalls nicht in die Entscheidfindung einbezogen werden.
3.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie einen Anspruch des Versicherten auf Leistungen der Invalidenversicherung verneinte.
Die massgeblichen Rechtsgrundlagen sind im angefochtenen Entscheid zutreffend wiedergegeben. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zu den Begriffen der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (<ref-law>), zur Aufgabe des Arztes oder der Ärztin bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99 mit Hinweisen) sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 252). Darauf wird verwiesen.
4.
4.1. Das kantonale Gericht hat im Wesentlichen gestützt auf das polydisziplinäre Gutachten des Zentrums E._ vom 26. Juli 2012 in für das Bundesgericht grundsätzlich verbindlicher Weise (E. 1) festgestellt, dass dem Beschwerdeführer die rein sitzende Tätigkeit als Stapelfahrer nicht mehr zumutbar sei, dass er als Koch nur noch zu 50% arbeitsfähig wäre, dass ihm aber eine wechselbelastende Tätigkeit in sitzender, teils auch stehender oder gehender Position, ohne Arbeiten in Zwangshaltungen und ohne repetitives Heben von Lasten über fünf Kilogramm ohne Leistungseinbusse zumutbar sei. Für eine solche behinderungsangepasste Tätigkeit sei der Beschwerdeführer zu 100% arbeitsfähig.
4.2. Der Beschwerdeführer bringt verschiedene formelle Einwände gegen das Gutachten des Zentrums E._ vom 26. Juli 2012 vor und rügt inhaltliche Mängel, welche jedoch bereits von der Vorinstanz mit überzeugender Begründung als unzutreffend bezeichnet wurden.
4.2.1. Soweit der Beschwerdeführer erneut einen Fehler im Vergabeverfahren rügt, kann diesbezüglich mit dem kantonalen Gericht keine Verletzung der Gehörs- und Partizipationsrechte festgestellt werden. Mit Schreiben vom 23. Januar 2012 informierte die IV-Stelle den Versicherten darüber, dass eine medizinische Begutachtung notwendig sei und dass vorgesehene Begutachterstelle die Ärztliche Begutachtungsinstitut GmbH L._ sei. Dem Versicherten wurde Gelegenheit eingeräumt, sich innert 20 Tagen zur vorgesehenen Gutachterstelle und zum Fragenkatalog zu äussern sowie allenfalls ergänzende Fragen einzubringen. Gleichzeitig wurde darauf hingewiesen, dass die am Gutachten beteiligten Fachärzte noch nicht bekannt seien und deren Namen noch mitgeteilt würden, wobei triftige Einwendungen gegen die begutachtenden Personen innert zehn Tagen seit Mitteilung vorzubringen wären. Am 26. März 2012 wurde der Versicherte darüber informiert, dass die vorgesehene Begutachtung durch das Zentrum E._ stattfinde. Es wurden ihm die Termine der einzelnen Abklärungen sowie die Namen der begutachtenden Ärztinnen und Ärzte mitgeteilt und die Möglichkeit eingeräumt, innert zehn Tagen triftige Einwendungen gegen die begutachtenden Personen einzureichen. Mit Schreiben vom 13. April 2012 warf der Versicherte die Frage auf, ob es sich bei Dr. med. M._ allenfalls um den ehemaligen Leiter und Chefarzt des Instituts N._ handle, gegen den ein Strafverfahren durchgeführt werde. Bejahendenfalls müsste er sich ernsthafte Gedanken über ein Ausstandsbegehren dieses Gutachters machen. Mit Zwischenverfügung vom 19. April 2012 hielt die IV-Stelle an der Gutachterstelle und an den begutachtenden Personen fest, wobei sie sich mit den Einwendungen des Versicherten auseinandersetzte. Gegen diese Verfügung wurde kein Rechtsmittel ergriffen und die Begutachtung beim Zentrum E._ wurde durchgeführt. Dieses Verfahren ist nicht zu beanstanden. Keinesfalls kann es angehen, weder ein formelles Ausstandsbegehren zu stellen noch die Zwischenverfügung betreffend Festsetzung der Gutachterstelle und der begutachtenden Personen anzufechten, dann aber nach Eingang des Gutachtens mit entsprechenden formellen Einwänden dessen Unverwertbarkeit zu verlangen.
4.2.2. Was sodann den wiederum erhobenen Einwand der Befangenheit des Dr. med. M._ während der Dauer des Strafverfahrens anbelangt, hat das Bundesgericht bereits mehrmals klargestellt, dass gegen diesen Arzt kein Ausstandsgrund lediglich deswegen besteht, weil er im Zusammenhang mit einer 2007 erfolgten Begutachtung angeklagt und inzwischen rechtskräftig freigesprochen worden ist (Urteile 9C_970/2012 vom 23. April 2013 E. 4, 8C_181/2013 vom 4. Juni 2013 E. 3 und 9C_725/2013 vom 29. Januar 2014 E. 4.1). Dieses Strafverfahren vermag nicht Jahre später noch objektiv den Anschein von Befangenheit bei einer Exploration des Beschwerdeführers zu wecken, zumal in keiner Weise geltend gemacht wird, dass sich Dr. med. M._ im Rahmen des den Versicherten betreffenden Gutachtens vom 26. Juli 2012 strafbar gemacht hätte.
4.2.3. Soweit der Beschwerdeführer erneut die Explorationsdauer von 1,5 Stunden für die psychiatrische Teilbegutachtung rügt, ist darauf hinzuweisen, dass es keine verbindliche Mindestdauer für eine psychiatrische Exploration gibt, sondern lediglich verlangt wird, dass die Expertise inhaltlich vollständig und im Ergebnis schlüssig ist, wobei der für eine psychiatrische Untersuchung zu betreibende zeitliche Aufwand der Fragestellung und der zu beurteilenden Psychopathologie angemessen sein muss (Urteil 8C_602/2013 vom 9. April 2014 E. 3.2 mit Hinweis), was vorliegend mit der Vorinstanz zu bejahen ist. Zudem kommt der Expertin oder dem Experten bezüglich der Wahl der Untersuchungsmethoden ein weiter Ermessensspielraum zu und es ist nicht zwingend notwendig, dass der (psychiatrische) Gutachter fremdanamnestische Angaben einholt oder Zusatzuntersuchungen anordnet (Urteil 8C_602/2013 vom 9. April 2014 E. 3.2 mit Hinweisen).
4.2.4. Insgesamt erfüllt das Gutachten des Zentrums E._ vom 26. Juli 2012 - wie das kantonale Gericht einlässlich dargelegt hat - die an beweiskräftige medizinische Unterlagen zu stellenden Anforderungen in jeder Hinsicht. Der beantragten zusätzlichen Abklärungen medizinischer Art bedarf es nicht, vermittelt das Gutachten des Zentrums E._ doch mit ausführlichen, umfassenden Begründungen ein überzeugendes Gesamtbild der gesundheitlichen Situation des Versicherten und des sich daraus ergebenden Leistungsvermögens, welches für eine abschliessende Beurteilung der streitigen Leistungsansprüche ausreicht.
4.3. Soweit der Beschwerdeführer ergänzende medizinische Abklärungen hinsichtlich einer seit Frühling/Sommer 2012 eingetretenen Verschlechterung des Gesundheitszustandes beantragt, hat das kantonale Gericht überzeugend dargelegt, dass die nach Erlass der Verfügung vom 13. Dezember 2012 verfassten Arztberichte eine Verschlechterung des Gesundheitszustandes seit der Begutachtung durch das Zentrum E._ bis zum massgebenden Zeitpunkt des Verfügungserlasses nicht hinreichend glaubhaft machen. Diese vorinstanzlichen Tatsachenfeststellungen sind für das Bundesgericht grundsätzlich verbindlich. Die vorgebrachten Einwendungen lassen sie weder als offensichtlich unrichtig noch sonst wie rechtsfehlerhaft erscheinen. Bezüglich des für die gerichtliche Beurteilung massgebenden Zeitraums (<ref-ruling> E. 1b mit Hinweisen) ist der Sachverhalt korrekt und vollständig festgestellt worden. Seither allenfalls eingetretene Änderungen haben Gegenstand eines neuen Verfahrens zu bilden.
5.
Der Beschwerdeführer rügt schliesslich, er habe zu keinem Zeitpunkt Gelegenheit erhalten, seine Beschwerde infolge drohender Abänderung der angefochtenen Verfügung zu seinen Ungunsten zurückzuziehen.
Seit der mit <ref-ruling> vorgenommenen Rechtsprechungsänderung ist der Beschwerde führenden Partei auch dann Gelegenheit zum Rückzug des Rechtsmittels zu geben, wenn eine rentenzusprechende Verfügung aufgehoben und die Sache zur weiteren Abklärung und Entscheidung an die IV-Stelle zurückgewiesen werden soll. Die Hinweispflicht kann sich allerdings nach der neuen Praxis erübrigen, wenn das kantonale Gericht in den Erwägungen des Rückweisungsentscheids die von der IV-Stelle verfügte oder von ihm selber bejahte teilweise Rente abschliessend als ausgewiesen und begründet erklärt (<ref-ruling> E. 3.2.4 S. 320). Da der Rückweisungsentscheid vom 29. März 2011 vor der Rechtsprechungsänderung erging, kann - zur Einschätzung des definitiven Rentenanspruchs - aus dem fehlenden Hinweis des kantonalen Gerichts auf eine reformatio in peius und aus dem Umstand, dass dem Beschwerdeführer damals keine Möglichkeit eingeräumt wurde, die Beschwerde zurückzuziehen, nichts abgeleitet werden (vgl. Urteile 8C_631/2013 vom 26. Februar 2014 E. 5.2.2.1 und 8C_725/2012 vom 27. März 2013 E. 3).
6.
Der mit angefochtenem Entscheid bestätigte Einkommenvergleich der IV-Stelle, aus welchem ein rentenausschliessender Invaliditätsgrad von 1% resultiert, ist unbestritten und nicht zu beanstanden, womit es sein Bewenden hat (vgl. auch Urteile 8C_181/2013 vom 4. Juni 2013 E. 6, 8C_904/2012 vom 28. März 2013 E. 6 und 8C_25/2012 vom 3. Juli 2012 E. 4.2).
7.
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der AXA Berufliche Vorsorge, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Mai 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Kopp Käch