Sachverhalt: A. A.a. A._, geboren 1966, absolvierte eine Lehre bei den Betrieben B._, die er im November 1985 erfolgreich abschloss. In der Folge war er als Betriebsangestellter und in verschiedenen Funktionen im Gastgewerbe sowie als Schreiner und als Kurierdienstfahrer tätig. Im März 1998 meldete er sich bei der Invalidenversicherung zum Bezug von Hilfsmitteln an. Die IV-Stelle des Kantons Aargau gewährte ihm am 5. Mai 1999 die leihweise Abgabe von zwei Hörgeräten. Im Februar 2001 meldete sich A._ unter Verweis auf seine bei einem Unfall vom 7. Juni 2000 zugezogene Handverletzung rechts erneut zum Leistungsbezug an. Die IV-Stelle sprach ihm am 20. April 2001 berufliche Massnahmen in Form der Umschulung zum Lastwagenchauffeur zu. In der Folge arbeitete A._ an verschiedenen Stellen in diesem Beruf, ab Juni 2009 bei der X._ AG. Die Arbeitgeberin kündigte ihm am 16. April 2015 per 30. Juni 2015. Ab 13. Juli 2015 war A._ bei der Y._ AG als Lastwagenchauffeur tätig; dieses Anstellungsverhältnis wurde bereits in der Probezeit im Oktober 2015 aus gesundheitlichen Gründen beendet. A.b. Im Mai 2014 hatte A._ sich bereits unter Verweis auf sein verschlechtertes Hörvermögen bei der IV-Stelle zum Leistungsbezug angemeldet. Diese veranlasste berufliche und medizinische Abklärungen und gewährte berufliche Massnahmen, welche bis im Mai 2017 andauerten. Am 18. Dezember 2015 teilte die IV-Stelle A._ mit, sie werde die Kosten eines Cochlea-Implantats übernehmen. Gestützt auf das polydisziplinäre Gutachten der asim, Universitätsspital Basel, vom 1. November 2018 sprach die IV-Stelle A._ mit Verfügung vom 27. Februar 2019 ab 1. Oktober 2016 eine ganze Invalidenrente, ab 1. März 2017 eine halbe und ab 1. Oktober 2017 eine Viertelsrente zu. B. Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde mit Entscheid vom 17. Dezember 2019 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und ihm ab dem frühest möglichen Zeitpunkt angemessene Invalidenrentenleistungen zuzusprechen. Zudem ersucht er um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.