Sachverhalt:
A.
A._, geb. 1963, war bei der B._ AG als Gerüstbauer angestellt, als er am 3. März 2014 aus rund 4 Metern Höhe von einem Baugerüst stürzte und dabei eine Pilon tibiale Fraktur rechts sowie eine LWK2-Fraktur erlitt. Am 17. November 2014 meldete er sich bei der Eidgenössischen Invalidenversicherung unter Hinweis auf unfallbedingte Beschwerden zum Leistungsbezug an. Mit Vorbescheid vom 28. August 2017 stellte ihm die IV-Stelle des Kantons Aargau die Zusprache einer befristeten Rente vom 1. Mai 2015 bis 29. Februar 2016 in Aussicht. Nachdem A._ dagegen Einwände erhoben hatte, liess ihn die IV-Stelle durch die Swiss Medical Assessment- and Business-Center AG, Bern (SMAB), bidisziplinär (orthopädisch und psychiatrisch) begutachten (Gutachten vom 4. September 2018). Nach durchgeführtem Vorbescheidverfahren sprach sie ihm mit Verfügung vom 17. Dezember 2018 vom 1. Mai 2015 bis 29. Februar 2016 sowie vom 1. Mai 2017 bis 30. November 2017 jeweils eine befristete ganze Rente zu; einen darüber hinausgehenden Rentenanspruch verneinte sie.
B.
Mit Entscheid vom 22. November 2019 wies das Versicherungsgericht des Kantons Aargau die dagegen erhobene Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragt, in Aufhebung des angefochtenen Entscheids sei ihm rückwirkend bis 30. November 2017 eine ganze Rente und ab 1. Dezember 2017 mindestens eine Viertelsrente zuzusprechen. Gleichzeitig ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Versicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Die Sachverhaltsfeststellung und Beweiswürdigung des kantonalen Gerichts ist nicht schon dann offensichtlich unrichtig (d.h. willkürlich), wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 4.4 S. 444; vgl. Urteil 8C_472 vom 20. November 2019 E. 2.2 mit Hinweis).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es einen über die Zeiträume vom 1. Mai 2015 bis 29. Februar 2016 und vom 1. Mai 2017 bis 30. November 2017 hinausgehenden Rentenanspruch verneinte.
2.2. Die Vorinstanz hat die für die Beurteilung des Rentenanspruchs nach <ref-law> massgebenden rechtlichen Grundsätze, insbesondere zur Invalidität (<ref-law> in Verbindung mit Art. 7 f. ATSG), zur rückwirkenden Zusprechung einer abgestuften oder befristeten Rente (Art. 17 Abs. 1 in Verbindung mit <ref-law>) sowie zur Festlegung der Vergleichseinkommen zutreffend dargelegt. Gleiches gilt für die Ausführungen zu Beweiswert und Beweiswürdigung ärztlicher Berichte und Gutachten, insbesondere der von den Versicherungsträgern im Verfahren nach <ref-law> eingeholten Gutachten externer Spezialärzte (<ref-ruling> E. 4.1 S. 232; <ref-ruling> E. 3a S. 352 und E. 3b/bb S. 353). Darauf kann verwiesen werden.
3.
3.1. Das kantonale Gericht stützte sich in Bezug auf den medizinischen Sachverhalt im Wesentlichen auf das Gutachten der SMAB vom 4. September 2018. Die Gutachter, Dr. med. C._, Facharzt für Orthopädie und Traumatologie des Bewegungsapparats, und Dr. med. D._, Fachärztin für Psychiatrie und Psychotherapie, stellten als Diagnosen mit Auswirkung auf die Arbeitsfähigkeit in der letzten Tätigkeit eine Belastungsminderung im rechten Bein bei Status nach Osteosynthese und mehrfachen Revisionen sowie zuletzt durchgeführter posteriorer Arthrodese, ein chronisch rezidivierendes Lumbovertebralsyndrom bei Status nach stattgehabter LWK-2-Fraktur ohne wesentliche Funktionseinschränkungen und ohne Hinweise auf radikuläre Defizitsymptomatik sowie eine mittelgradige depressive Episode mit somatischem Syndrom (ICD-10 F32.11). Ohne Auswirkungen auf die Arbeitsfähigkeit diagnostizierten sie eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41) sowie ein chronisches zervikovertebrales/zervikozephales Syndrom bei ausgeprägten muskulären Verspannungen bei statisch ungünstiger, hochthorakaler Kyphose. In der angestammten Tätigkeit als Gerüstbauer bestehe seit dem Unfall vom 3. März 2014 keine Arbeitsfähigkeit mehr. In angepassten Tätigkeiten sei die Arbeitsfähigkeit ab November 2015 aus somatischer Sicht als wiederhergestellt zu betrachten, doch habe sie aus bidisziplinärer Sicht aufgrund der psychischen Einschränkung 90 % betragen. Nach der OSG-Arthrodese im Februar 2017 habe wiederum während sechs Monaten keine Arbeitsfähigkeit bestanden. Zwischen August 2017 und März 2018 sei zufolge vermehrter psychischer Beeinträchtigungen von einer Arbeitsfähigkeit in angepasster Tätigkeit von 70 % auszugehen, seit März 2018 betrage sie fortlaufend 90 %. Das Belastungsprofil einer Verweistätigkeit beinhaltet im Wesentlichen körperlich leichte Tätigkeiten mit Heben und Tragen von Lasten bis 10 kg, überwiegend bis ständig im Sitzen und mit bloss zeitweiligem Gehen oder Stehen. Das kantonale Gericht mass dem Gutachten nach sorgfältiger Würdigung der medizinischen Akten und eingehender Prüfung der Argumentation des Beschwerdeführers Beweiswert zu. Der medizinische Sachverhalt erweise sich als vollständig abgeklärt, weshalb in antizipierter Beweiswürdigung auf weitere Beweismassnahmen verzichtet werden könne.
3.2. Der Beschwerdeführer wirft der Vorinstanz eine offensichtlich unrichtige Sachverhaltsfeststellung vor. Allerdings erweisen sich seine Vorbringen als weitgehend appellatorisch, so dass im Wesentlichen auf die zutreffenden Erwägungen der Vorinstanz verwiesen werden kann. Zu einzelnen Argumenten ist immerhin Folgendes festzuhalten:
3.2.1. In somatischer Hinsicht verweist der Beschwerdeführer (wie schon vor dem kantonalen Gericht) auf den Bericht des behandelnden Orthopäden, Dr. med. E._, Facharzt für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, Spital I._, vom 16. Mai 2018, der eine Arbeitsunfähigkeit von 50 % postulierte. Die Vorinstanz zeigte jedoch auf, dass der Gutachter die von Dr. med. E._ genannten Beeinträchtigungen des Sprunggelenks gekannt, sie für konsistent und plausibel befunden und in seine Beurteilung der Arbeitsfähigkeit einbezogen hatte. Ihr ist darin zuzustimmen, dass sich dem Bericht des Dr. med. E._ keine neuen medizinischen Erkenntnisse entnehmen lassen, sondern es sich bloss um eine abweichende Beurteilung desselben medizinischen Sachverhalts handelt. Deswegen ist es auch nicht zu beanstanden, dass die Beschwerdegegnerin davon absah, diesen Bericht dem Gutachter nachträglich zur Stellungnahme zu unterbreiten.
Sodann wird der Beweiswert der Expertise nicht dadurch geschmälert, dass der orthopädische Gutachter die radiologischen Befunde vom 14. August 2018 nicht wörtlich und vollständig wiedergab. Insbesondere zu den Röntgenbefunden der Wirbelsäule (die nicht wörtlich in das orthopädische Gutachten übernommen wurden) gilt es, mit der Vorinstanz, festzuhalten, dass bei Gesundheitsschäden im Bereich der Wirbelsäule die klinische Untersuchung die wichtigste und feinste Prüfung darstellt (vgl. Urteile 9C_348/2017 vom 10. August 2017 E. 3.2.1; 9C_699/2016 vom 17. März 2017 E. 4.3 mit Hinweis). Vorliegend stellte der Gutachter in der klinischen Untersuchung leichte Einschränkungen und Schmerzen in der Wirbelsäule fest (sowie eine unterschiedliche Beinlänge, was der Beschwerdeführer zu übersehen scheint) und trug dem sowohl in der Diagnose als auch bei der Umschreibung der zumutbaren Tätigkeit Rechnung.
Weiter erlaubt der Umstand, dass die Schweizerische Unfallversicherungsanstalt (Suva) die Integritätsentschädigung von 15 auf 30 % erhöht hat, keine Rückschlüsse auf die Arbeitsfähigkeit in einer angepassten Tätigkeit, zumal gemäss deren Kreisärztin die Arbeitsfähigkeit in einer angepassten (leichten, vorwiegend sitzenden) Tätigkeit seit ihrer Beurteilung vom 1. Juli 2016 unverändert bei 100 % liegt. Daran ändert nichts, dass der Versicherte die kreisärztliche Einschätzung anscheinend auch in einem gegen die Suva anhängig gemachten Beschwerdeverfahren in Frage stellt.
3.2.2. Bezüglich der psychischen Beschwerden beruft sich der Beschwerdeführer ebenfalls im Wesentlichen auf die Berichte der behandelnden Fachärzte und namentlich darauf, dass Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie, in seinem Bericht vom 20. September 2016 die Arbeitsfähigkeit bloss auf 50 % geschätzt hatte. Entgegen seiner Darstellung setzte sich die psychiatrische Gutachterin aber mit den Diagnosen der behandelnden Ärzte auseinander. Dabei mass sie der depressiven Symptomatik lediglich einen beschränkten Einfluss auf die Arbeitsfähigkeit zu, weil die Depression überwiegend durch den Verlust der Arbeit ausgelöst worden sei und durch die Aufnahme einer beruflichen Tätigkeit gemindert werden würde. Diese Beurteilung wird, wie die Vorinstanz zutreffend bemerkt, durch frühere Berichte (namentlich des Dr. med. F._ und der Dr. med. G._, Fachärztin für Psychiatrie und Psychotherapie) bekräftigt, wonach der Beschwerdeführer gerne seine bisherige Arbeit weitergeführt hätte und die Tätigkeit und die damit verbundene Tagesstruktur vermisse. Sodann bestätigte die Gutachterin die von Dr. med. G._ diagnostizierte chronische Schmerzstörung mit somatischen und psychischen Faktoren, erachtete sie jedoch nicht als einschränkend für die Arbeitsfähigkeit.
Weiter erachtet der Beschwerdeführer das psychiatrische Teilgutachten deswegen als falsch, weil es auf einer fehlerhaften somatischen Beurteilung beruhe. Soweit er dies mit dem Bericht des Dr. med. E._ und der dort geschilderten Schmerzsituation begründen will, kann auf das oben Gesagte verwiesen werden (E. 3.2.1). Da nicht auf dessen Beurteilung abzustellen ist, erweist sich auch die Aussage der Gutachterin nicht als unhaltbar, wonach ein eindeutiges somatisches Korrelat der geschilderten Schmerzen fehle. Die Gutachterin nahm sodann bei der rückblickenden Beurteilung des zeitlichen Verlaufs durchaus auf die echtzeitlichen Berichte Bezug und wies darauf hin, dass eine genaue Einschätzung angesichts der dort enthaltenen schwankenden Angaben nur erschwert möglich sei.
3.2.3. Den vom Beschwerdeführer angerufenen Berichten der behandelnden Ärzte lassen sich im Ergebnis keine konkreten Indizien entnehmen, die die Zuverlässigkeit der gutachterlichen Schlussfolgerungen in Frage stellen könnten. Auch ergeben sich daraus keine neuen, von den Experten bislang unbeachteten medizinischen Aspekte. Dass die Vorinstanz in antizipierter Beweiswürdigung von weiteren Beweismassnahmen absah, ist daher nicht zu kritisieren. Daran vermögen auch die übrigen Vorbringen des Beschwerdeführers nichts zu ändern.
4.
4.1. Im Zusammenhang mit dem Einkommensvergleich beanstandet der Beschwerdeführer zunächst die Festsetzung des Valideneinkommens. Denn die Vorinstanz habe es in willkürlicher antizipierter Beweiswürdigung unterlassen, eine beantragte Zeugeneinvernahme durchzuführen.
4.1.1. Welche berufliche Tätigkeit die versicherte Person ohne gesundheitliche Beeinträchtigung ausüben würde, ist als Beurteilung hypothetischer Geschehensabläufe eine vom Bundesgericht lediglich unter eingeschränktem Blickwinkel überprüfbare Tatfrage (Art. 105 Abs. 1 und 2 BGG), soweit sie auf Beweiswürdigung beruht, selbst wenn darin auch Schlussfolgerungen aus der allgemeinen Lebenserfahrung berücksichtigt werden (Urteile 9C_129/2019 vom 5. Juni 2019 E. 2.2; 8C_737/2018 vom 17. April 2019 E. 4.1; 8C_879/2017 vom 5. Februar 2018 E. 4.3.1 mit Hinweisen). Die diesbezüglichen Feststellungen des kantonalen Gerichts sind daher für das Bundesgericht grundsätzlich verbindlich, ausser sie seien offensichtlich unrichtig oder beruhten auf einer Rechtsverletzung nach <ref-law> (E. 1.2 hiervor).
4.1.2. Die Vorinstanz stellte fest, dass der Beschwerdeführer die Tätigkeit als Gerüstbauer zufolge der Geschäftsaufgabe seiner Arbeitgeberin per Ende 2014 auch ohne Eintritt eines Gesundheitsschadens nicht hätte fortführen können. Dies führe zur Anwendung der LSE-Tabellenlöhne (Urteile 8C_148/2017 vom 19. Juni 2017 E. 6.2.2; 8C_462/2014 vom 18. November 2014 E. 4.2; 9C_501/2013 vom 18. November 2013 E. 4.2). Ob der Beschwerdeführer ohne den Unfall im Gerüstbau-Unternehmen des Bruders seines ehemaligen Vorgesetzten, in der H._ AG nahtlos weiterbeschäftigt worden wäre, liess die Vorinstanz offen. Zwar hatte J._ mit Schreiben vom 20. Oktober 2018 mitgeteilt, dass er den Beschwerdeführer gerne beschäftigt hätte, dieser nach seinem Unfall aber nicht mehr als Mitarbeiter geeignet gewesen sei. Angesichts dieser knapp gehaltenen Aussagen erscheint die Schlussfolgerung der Vorinstanz nicht als geradezu unhaltbar, wonach nicht mit dem erforderlichen Beweisgrad der überwiegenden Wahrscheinlichkeit feststehe, dass der Beschwerdeführer über das Jahr 2014 hinaus weiter denselben Lohn erzielt hätte, zumal das Schreiben keine Angaben zum eventuellen Lohn enthalte. Ebenso wenig ist es zu beanstanden, dass sich die Vorinstanz dadurch nicht zu weiteren Abklärungen veranlasst sah.
4.1.3. Der Beschwerdeführer legt nun im bundesgerichtlichen Verfahren ein Schreiben der H._ AG vom 19. Dezember 2019 auf, in dem diese festhält, dass sie bei Übernahme des Beschwerdeführers den gewohnten Lohn weiterhin bezahlt hätte. Da dieses Schreiben nach dem angefochtenen Entscheid verfasst wurde, handelt es sich um ein unzulässiges Novum. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 3 S. 395). Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (<ref-ruling> E. 1.2 S. 22 f.). Da der Beschwerdeführer bereits im vorinstanzlichen Verfahren geltend gemacht hatte, er wäre zu den gleichen Bedingungen von der H._ AG angestellt worden, hätte er bereits damals eine entsprechende, detailliertere Bestätigung vorlegen können und müssen. Damit hat nicht erst der angefochtene, kantonale Entscheid Anlass für die Einreichung eines solchen Beweismittels gegeben. Das Schreiben vom 19. Dezember 2019 hat somit infolge Novencharakters unbeachtlich zu bleiben (<ref-law>; Urteil 9C_73/2018 vom 4. März 2020 E. 4.1).
4.2. Seitens des Invalideneinkommens kam die Vorinstanz zum Ergebnis, dass kein leidensbedingter Abzug zu gewähren sei. Der Beschwerdeführer macht demgegenüber zwar den maximalen Tabellenlohnabzug von 25 % geltend. Seine diesbezügliche Begründung erschöpft sich allerdings in einem pauschalen Verweis auf einige der Umstände (Alter, Sprachkenntnisse, Schmerzen und Teilzeittätigkeit), die die Vorinstanz unter Berücksichtigung der bundesgerichtlichen Rechtsprechung in ihrer Gesamtwürdigung mit einbezogen hat. Folglich erübrigen sich Weiterungen dazu. Die Beschwerde ist abzuweisen.
5.
Bei diesem Verfahrensausgang wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach der Beschwerdeführer der Bundesgerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen. Rechtsanwalt Marco Unternährer wird als unentgeltlicher Rechtsbeistand bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indessen einstweilen auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, 4. Kammer, dem Bundesamt für Sozialversicherungen und der Sammelstiftung berufliche Vorsorge Swiss Life, Zürich, schriftlich mitgeteilt.
Luzern, 12. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart