Sachverhalt:
A.
A.a. A._, geboren 1966, absolvierte eine Lehre bei den Betrieben B._, die er im November 1985 erfolgreich abschloss. In der Folge war er als Betriebsangestellter und in verschiedenen Funktionen im Gastgewerbe sowie als Schreiner und als Kurierdienstfahrer tätig. Im März 1998 meldete er sich bei der Invalidenversicherung zum Bezug von Hilfsmitteln an. Die IV-Stelle des Kantons Aargau gewährte ihm am 5. Mai 1999 die leihweise Abgabe von zwei Hörgeräten. Im Februar 2001 meldete sich A._ unter Verweis auf seine bei einem Unfall vom 7. Juni 2000 zugezogene Handverletzung rechts erneut zum Leistungsbezug an. Die IV-Stelle sprach ihm am 20. April 2001 berufliche Massnahmen in Form der Umschulung zum Lastwagenchauffeur zu. In der Folge arbeitete A._ an verschiedenen Stellen in diesem Beruf, ab Juni 2009 bei der X._ AG. Die Arbeitgeberin kündigte ihm am 16. April 2015 per 30. Juni 2015. Ab 13. Juli 2015 war A._ bei der Y._ AG als Lastwagenchauffeur tätig; dieses Anstellungsverhältnis wurde bereits in der Probezeit im Oktober 2015 aus gesundheitlichen Gründen beendet.
A.b. Im Mai 2014 hatte A._ sich bereits unter Verweis auf sein verschlechtertes Hörvermögen bei der IV-Stelle zum Leistungsbezug angemeldet. Diese veranlasste berufliche und medizinische Abklärungen und gewährte berufliche Massnahmen, welche bis im Mai 2017 andauerten. Am 18. Dezember 2015 teilte die IV-Stelle A._ mit, sie werde die Kosten eines Cochlea-Implantats übernehmen. Gestützt auf das polydisziplinäre Gutachten der asim, Universitätsspital Basel, vom 1. November 2018 sprach die IV-Stelle A._ mit Verfügung vom 27. Februar 2019 ab 1. Oktober 2016 eine ganze Invalidenrente, ab 1. März 2017 eine halbe und ab 1. Oktober 2017 eine Viertelsrente zu.
B.
Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde mit Entscheid vom 17. Dezember 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm ab dem frühest möglichen Zeitpunkt angemessene Invalidenrentenleistungen zuzusprechen. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig ist, ob die Vorinstanz zu Recht die von der IV-Stelle ab 1. Oktober 2016 zugesprochenen abgestuften Invalidenrenten bestätigt hat.
3.
Die Vorinstanz hat die Grundsätze und Bestimmungen über den Anspruch auf eine Invalidenrente (<ref-law>), die Entstehung des Rentenanspruchs (<ref-law>), die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1 S. 30), insbesondere die Begriffe des ausgeglichenen Arbeitsmarktes (<ref-ruling> E. 4.2.1 S. 70 f.; Urteil 8C_906/2015 vom 12. Mai 2016 E. 4.3), des Invaliden- (<ref-ruling> E. 2.3 S. 593 f.; <ref-ruling> E. 5.2 S. 327 f.; <ref-ruling> E. 5 S. 78 ff.) und des Valideneinkommens (BGE <ref-ruling> E. 4.1 S. 325; Urteil 8C_728/2016 vom 21. Dezember 2016 E. 3.1), sowie das Vorgehen bei einer abgestuften oder befristeten Invalidenrente bei rückwirkender Rentenzusprechung (<ref-ruling>) gemäss den Modalitäten der Revision einer Invalidenrente (<ref-law>; <ref-law>; <ref-ruling> E. 2.3 S. 10) zutreffend dargelegt. Dasselbe gilt für die beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352), namentlich bei Administrativgutachten nach <ref-law> (<ref-ruling> E. 4.4 S. 470). Darauf wird verwiesen.
4.
Die Vorinstanz erwog, das asim-Gutachten vom 1. November 2018 erfülle die Anforderungen der Rechtsprechung, weshalb grundsätzlich darauf abgestellt werden könne. Der Versicherte habe sich am 16. Mai 2014 zum Leistungsbezug angemeldet und sei zu diesem Zeitpunkt in einem 100 %-Pensum als Lastwagenfahrer tätig gewesen. Ein Rentenanspruch könne folglich frühestens ab November 2014 bestehen. Keiner der beteiligten Ärzte habe vor dem Bericht des Prof. Dr. med. C._, Hals-Nasen-Ohren-Klinik, Spital D._, vom 5. Oktober 2015 eine Arbeitsunfähigkeit festgehalten; es sei einzig um die Hörgeräteversorgung gegangen, um die drohende Arbeitsunfähigkeit im angestammten Beruf hinauszuzögern. Auch sei die Kündigung durch die X._ AG nicht aus gesundheitlichen Gründen erfolgt. Dem Versicherten sei hingegen die Stelle bei der Y._ AG im Oktober 2015 aus gesundheitlichen Gründen gekündigt worden. Der von der IV-Stelle festgelegte Rentenbeginn per 1. Oktober 2016 sei somit korrekt. Die abgestufte Rentenfestsetzung sei nicht zu beanstanden. Die IV-Stelle berücksichtige dabei die in der Konsensbeurteilung der asim-Experten festgestellte Arbeitsfähigkeit und halte die Dreimonatsfrist von <ref-law> ein. Soweit der Versicherte sich auf den Bericht des Prof. Dr. med. E._, Chefarzt Neurorehabilitation, Neurozentrum, Spital F._, vom 7. Dezember 2016 berief, wonach in der angestammten Tätigkeit eine volle Arbeitsunfähigkeit bestehe, führte die Vorinstanz aus, dem neuropsychologischen asim-Experten sei diese Einschätzung bekannt gewesen und dieser habe festgehalten, es habe im damaligen Zeitpunkt wahrscheinlich eine Arbeitsunfähigkeit vorgelegen, Prof. Dr. med. E._ habe aber nicht zur Arbeitsfähigkeit Stellung genommen und es könne nicht festgelegt werden, seit wann aus neuropsychologischer Sicht eine uneingeschränkte Arbeitsfähigkeit bestehe. Somit sei nicht nachweisbar, dass im Zeitpunkt der neuropsychologischen Untersuchung vom 7. Dezember 2016 eine Arbeitsunfähigkeit bestanden habe. Diese Beweislosigkeit wirke sich zu Ungunsten des Versicherten aus. Zur bestrittenen Verwertbarkeit der Restarbeitsfähigkeit führte das kantonale Gericht aus, dem Versicherten sei die Ausübung zahlreicher Tätigkeiten zumutbar. Angesichts seines Lebenslaufs verfüge er auch über Büroerfahrung und könne so die gutachterlich vorgeschlagene Hilfstätigkeit im Büro ausüben. Ferner könne er verschiedene Tätigkeiten ausführen, die keine Ausbildung erfordern würden. Auf dem ausgeglichenen Arbeitsmarkt stünden ihm demnach genügend Beschäf tigungsmöglichkeiten offen. In der Folge bestätigte die Vorinstanz das von der IV-Stelle gestützt auf die vom Bundesamt für Statistik herausgegebene Lohnstrukturerhebung (LSE), Tabelle TA1 ("tirage skill level", Position 49 "Landverkehr", Kompetenzniveau 2, Männer) ermittelte Valideneinkommen; desgleichen den beim Invalideneinkommen gewährten leidensbedingten Abzug von 5 %, da nur das Teilzeitpensum, nicht jedoch seine sozialen Einschränkungen, die Dienstjahre, sein Alter oder seine Nationalität zu berücksichtigen seien. Seine Hörbeeinträchtigung sei schon bei der Formulierung der angepassten Tätigkeit miteinbezogen worden und die Handverletzung sei bereits drei Monate nach dem Unfall sehr befriedigend verheilt gewesen und habe sich nicht mehr auf die Arbeitsfähigkeit ausgewirkt oder eine ärztliche Behandlung erforderlich gemacht.
5.
Was der Beschwerdeführer dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen.
5.1. Er macht geltend, bei ihm sei angesichts seiner Beschwerden bereits vor dem 5. Oktober 2015 von einer Arbeitsunfähigkeit auszugehen, so dass der Rentenbeginn früher anzusetzen sei. So sei der Kündigungsgrund der X._ AG wegen der Sperrfristen von <ref-law> bloss vorgeschoben gewesen und die X._ AG gebe selbst eine Arbeitsunfähigkeit von 21. Januar bis 31. August 2013 an. Die Vorinstanz erachte die Beurteilung durch Prof. Dr. med. C._ vom 5. Oktober 2015 als massgebend, obwohl auch neuropsychologische und psychiatrische Einschränkungen vorliegen würden.
Der Versicherte zeigt nicht auf, inwiefern die Feststellung der Vorinstanz, es sei von ärztlicher Seite vor dem Oktober 2015 keine Arbeitsunfähigkeit attestiert worden, offensichtlich unrichtig, mithin willkürlich (E. 1.2), sein soll, sondern beschränkt sich auf die Darlegung aus seiner Sicht. So gibt es keine Anhaltspunkte dafür, dass der Kündigungsgrund der mangelhaften qualitativen Arbeit durch die X._ AG nur vorgeschoben sein soll. Auch wird aus neuropsychologischer Sicht vor Dezember 2016 keine Arbeitsunfähigkeit im angestammten Beruf attestiert. Soweit der Beschwerdeführer auf die Arbeitsunfähigkeit im Jahr 2013 verweist, ist festzuhalten, dass es sich dabei nicht um eine andauernde Einschränkung in wesentlichem Ausmass im Sinne der Invalidenversicherung handelte, sondern um die Folge eines Unfalles, wobei innert Monaten eine volle Arbeitsfähigkeit wiedererlangt werden konnte. So reduzierte sich die ursprünglich volle Arbeitsunfähigkeit nach gut drei Monaten auf eine halbe und nach weiteren zwei Monaten auf lediglich 25 %; ab 1. September 2013 war der Versicherte wieder voll einsetzbar. Der Hausarzt gab in seinem Bericht vom 13. August 2014 als Ursache der (drohenden) Arbeitsunfähigkeit lediglich die Schwerhörigkeit an. Die an der Behandlung des Versicherten beteiligten HNO-Spezialisten empfahlen alle die dringende Versorgung mit neuen Hörgeräten, attestierten aber diesbezüglich vor Oktober 2015 explizit keine Arbeitsunfähigkeit und hielten ein uneingeschränktes Konzentrationsvermögen fest. Selbst der Versicherte gab vor Oktober 2015 an, seine Leistungsfähigkeit sei wegen des verschlechterten Hörvermögens eingeschränkt resp. die Anmeldung sei nur vorsorglich erfolgt, da die periodische Zulassungsprüfung als Lastwagenchauffeur anstehe. In seiner E-Mail vom 22. September 2015 an den Sachbearbeiter Früherfassung/Berufliche Integration führte der Versicherte seine beruflichen Probleme alleine auf die Einschränkungen infolge des sich verschlechternden Hörvermögens zurück. Aus den Akten ist zudem ersichtlich, dass aus psychischen Gründen erst 2016 eine Behandlung notwendig war (vgl. die Zusammenstellung der medizinischen Berichte im asim-Gutachten vom 1. November 2018). So begründet denn auch der psychiatrische Teilgutachter die im Zeitpunkt der Rentenzusprache gegebene Arbeitsunfähigkeit alleine mit Diagnosen und Beschwerden, die sich nach diesem Zeitpunkt ausgewirkt haben. Nach dem Gesagten ist nicht zu beanstanden, wenn die Vorinstanz gestützt auf die Beurteilung des Prof. Dr. med. C._ vom 5. Oktober 2015 (vgl. auch die Beurteilung durch Dr. med. G._, Facharzt für Allgemeine Medizin, Regionaler Ärztlicher Dienst, RAD, vom 11. November 2015) sowie auf die aus gesundheitlichen Gründen beendete Anstellung bei der Y._ AG feststellte, dass erstmals im Oktober 2015 eine massgebliche Arbeitsunfähigkeit im angestammten Beruf vorgelegen hat.
5.2. Der Beschwerdeführer rügt, die Vorinstanz habe den Untersuchungsgrundsatz verletzt, indem sie keine Nachfrage bei Prof. Dr. med. E._ bezüglich der in seinem Bericht vom 7. Dezember 2016 angegebenen Arbeitsunfähigkeit in einer angepassten Tätigkeit getätigt habe.
Prof. Dr. med. E._ attestierte im Bericht vom 7. Dezember 2016 eine volle Arbeitsunfähigkeit im angestammten Beruf als Chauffeur und hielt fest, die Minderleistungen seien am ehesten auf die affektive Symptomatik zurückzuführen. Nach der Rechtsprechung ist eine neuropsychologisch begründete Leistungseinschränkung, die auf psychische Ursachen zurückzuführen ist, von einem psychiatrischen Experten durch eine entsprechend attestierte Arbeitsunfähigkeit zu validieren, bevor sie in invalidenversicherungsrechtlicher Hinsicht massgeblich ist (Urteil 9C_715/2016 vom 24. Januar 2017 E. 3.3). Somit ist bezüglich der zumutbaren Arbeitsfähigkeit in jenem Zeitpunkt auf die Einschätzungen der Zumutbarkeit einer Verweisungstätigkeit durch die psychiatrischen Fachärzte abzustellen. Gemäss Ansicht der Psychiatrie G._ war dem Versicherten im Dezember 2016 eine adaptierte Tätigkeit zu 50 % zumutbar (vgl. den im Bericht vom 12. Dezember 2016 erwähnten Aufbau auf eine Präsenz von 50 % im Rahmen der Massnahme des Regionalen Arbeitsvermittlungszentrums [RAV], sowie das Gespräch im Rahmen des Arbeitsversuchs vom 25. Oktober 2016, gemäss welchem nach Ansicht der psychiatrischen Tagesklinik eine Arbeitsfähigkeit von 50 % bestehe). Die Erhöhung der zumutbaren Arbeitsfähigkeit per 1. November 2016 begründeten die asim-Experten mit der Verbesserung der psychischen Verfassung, die eine Arbeitsintegrationsmassnahme des RAV im Umfang von 50 % ab dem 5. Dezember 2016 zugelassen habe, und hielten eine zumutbare Arbeitsfähigkeit ab Dezember 2016 von 50 bis 60 % fest; erst ab Juli 2017 attestierten sie eine konstante zumutbare Arbeitsfähigkeit in einer adaptierten Tätigkeit von 60 %. Der neuropsychologische Teilgutachter begründet denn auch die Verbesserung der kognitiven Leistungen gegenüber den Ergebnissen vom 7. Dezember 2016 mit der verbesserten psychiatrischen Symptomatik. Nach dem Gesagten liegt keine Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG) vor, da angesichts der psychischen Ursache der am 7. Dezember 2016 festgehaltenen neuropsychologischen Einschränkungen ungeachtet einer allfälligen Stellungnahme von Prof. Dr. med. E._ zur Arbeitsfähigkeit in einer Verweisungstätigkeit auf die entsprechende Beurteilung durch einen psychiatrischen Experten abzustellen ist.
5.3. Der Versicherte beanstandet die vorinstanzliche Bejahung der Verwertbarkeit seiner Restarbeitsfähigkeit. Denn angesichts seiner vielfältigen Einschränkungen sei die Annahme des kantonalen Gerichts, es würden noch genügend Beschäftigungsmöglichkeiten vorliegen, realitätsfern.
Die Vorinstanz hat dargelegt, welche Tätigkeiten der Versicherte auch unter Beachtung seiner Einschränkungen noch ausüben könnte. Dabei hat sie auch in Betracht gezogen, dass er im Rahmen seiner Erwerbsbiografie in den verschiedensten Branchen tätig war und mehrere Ausbildungen absolvierte. Zudem attestierten ihm die asim-Experten gute kognitive Fähigkeiten, namentlich im Bereich Aufmerksamkeit, Konzentration, Gedächtnis und Sinnverständnis, als wichtige Ressource. Da der ausgeglichene Arbeitsmarkt auch sogenannte Nischenarbeitsplätze umfasst, also Stellen- und Arbeitsangebote, bei welchen Behinderte mit einem sozialen Entgegenkommen seitens des Arbeitgebers rechnen können (vgl. Urteil 8C_906/2015 vom 12. Mai 2016 E. 4.3), kann nicht gesagt werden, die noch zumutbaren Tätigkeiten seien auf dem ausgeglichenen Arbeitsmarkt nicht vorhanden. Mit der Vorinstanz ist somit festzuhalten, dass dem Versicherten die Verwertung der Restarbeitsfähigkeit ohne Weiteres möglich und zumutbar ist.
5.4. Schliesslich rügt der Beschwerdeführer eine Ermessensunterschreitung durch die Vorinstanz, indem sie lediglich einen leidensbedingten Abzug von 5 % gewährt hat.
Das Bundesgericht überprüft einen vorinstanzlichen Entscheid nicht auf Ermessensfehler. Seine Kognition ist, namentlich hinsichtlich der Höhe des leidensbedingten Abzugs, auf die Überprüfung von Ermessensmissbrauch sowie Ermessensunterschreitung und -überschreitung beschränkt (<ref-ruling> E. 5.1 S. 72; <ref-ruling> E. 3.3 S. 399). Der Versicherte übersieht, dass Einschränkungen, die bereits bei der Formulierung des zumutbaren Tätigkeitsprofils miteinbezogen worden sind, beim leidensbedingten Abzug nicht noch ein zweites Mal berücksichtigt werden können (vgl. etwa Urteil 9C_366/2015 vom 22. September 2015 E. 4.3.1 und Urteil 8C_61/2018 vom 23. März 2018 E. 6.5.2). Insofern gehen seine Rügen hinsichtlich der sozialen Einschränkungen, der Vermeidung von telefonischen oder Kundenkontakten, der verminderten Anpassungsfähigkeit an betriebliche Strukturen, der geräuscharmen Umgebung sowie dem Erfordernis optimaler Lichtverhältnisse ins Leere. Zudem setzt er sich mit der vorinstanzlichen Begründung, weshalb die von ihm bereits im kantonalen Verfahren geltend gemachten sozialen Einschränkungen beim leidensbedingten Abzug nicht zu berücksichtigen seien, nicht auseinander. Damit ist keine bundesrechtswidrige Ermessensunterschreitung ersichtlich und es hat beim vorinstanzlich bestätigten leidensbedingten Abzug von 5 % sein Bewenden.
5.5. Nach dem Gesagten ist der vorinstanzliche Entscheid nicht zu beanstanden. Die Beschwerde ist abzuweisen.
6.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Reto Bachmann wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, dem Bundesamt für Sozialversicherungen und der AXA Stiftung Berufliche Vorsorge schriftlich mitgeteilt.
Luzern, 16. April 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold