Sachverhalt:
A.
A._, geboren 1977, war seit September 2010 bei der B._ AG als Schreiner beschäftigt. Im Mai 2013 meldete er sich unter Hinweis auf Kniebeschwerden seit November 2012 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zug klärte die beruflichen sowie die gesundheitlichen Verhältnisse ab, letzteres namentlich auch unter Beizug der Akten der Schweizerischen Unfallversicherungsanstalt (Suva). Des Weiteren holte sie ein polydisziplinäres Gutachten der Medizinischen Abklärungsstelle MEDAS ABI (Ärztliches Begutachtungsinstitut), Basel, vom 29. Oktober 2018 ein. Gestützt darauf sprach die IV-Stelle A._ mit Verfügung vom 19. September 2019 ab 1. August 2016 bis 30. April 2017 eine ganze Invalidenrente zu.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Urteil vom 10. März 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Urteils sei die Sache zu weiteren medizinischen Abklärungen an die IV-Stelle zurückzuweisen. Eventualiter sei ihm für den Zeitraum vom 1. November 2013 bis 30. April 2019 eine ganze Invalidenrente zuzusprechen. Des Weiteren wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Sowohl das kantonale Gericht als auch die IV-Stelle schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die Gewährung einer lediglich befristeten (ganzen) Invalidenrente vom 1. August 2016 bis 30. April 2017 durch die IV-Stelle bestätigte. Zur Frage steht, ob eine Arbeitsunfähigkeit bereits vor einer im Mai 2016 erfolgten Operation und auch über die berücksichtigte Rekonvaleszenzphase hinaus als ausgewiesen gelten konnte.
3.
Das kantonale Gericht hat die Bestimmungen und Grundsätze zur Invalidität (<ref-law>, <ref-law>) sowie zum Rentenanspruch (<ref-law>) zutreffend dargelegt. Gleiches gilt hinsichtlich der Regeln über den Beweiswert eines ärztlichen Berichts oder Gutachtens (<ref-ruling> E. 5.1; <ref-ruling> E. 3a). Hervorzuheben ist, dass Sachverständigengutachten von externen Spezialärzten praxisgemäss volle Beweiskraft zuzuerkennen ist, solange nicht konkrete Indizien gegen ihre Zuverlässigkeit sprechen (<ref-ruling> E. 1.3.4; <ref-ruling> E. 4.4; <ref-ruling> E. 3b/bb).
4.
Die Vorinstanz stellte fest, gestützt auf das voll beweiskräftige ABI-Gutachten sei der Beschwerdeführer in körperlich leichten, wechselbelastenden, vorwiegend sitzenden Tätigkeiten (mit weiteren Anforderungsmerkmalen) voll arbeitsfähig. Auch hinsichtlich der psychischen Beeinträchtigung folgte das kantonale Gericht der Einschätzung des Gutachters, der den Beschwerdeführer als uneingeschränkt arbeitsfähig erachtete. In erwerblicher Hinsicht setzte die Vorinstanz das ohne gesundheitliche Beeinträchtigung hypothetisch erzielbare Valideneinkommen entsprechend den Angaben der vormaligen Arbeitgeberin auf Fr. 72'800.- fest. Das Invalideneinkommen ermittelte sie anhand der statistischen Durchschnittslöhne und unter Berücksichtigung eines leidensbedingten Abzuges von 5 % mit Fr. 62'371.-. Aus dem Einkommensvergleich resultierte ein Invaliditätsgrad von 14 %. Lediglich für den erwähnten Zeitraum - nach Knieoperation und Rekonvaleszenzphase - bestand gemäss Vorinstanz gestützt auf das ABI-Gutachten Anspruch auf eine ganze IV-Rente.
5.
Der Beschwerdeführer macht geltend, es stünden ihm bereits ab 1. November 2013, Zeitpunkt des Ablaufs des Wartejahrs, und so lange Leistungen der Invalidenversicherung, das heisst eine ganze Invalidenrente, zu, als auch die Suva Taggeldleistungen bei einer vollständigen Arbeitsunfähigkeit erbracht habe. Bemängelt wird des Weiteren die fehlende Beweiskraft des ABI-Gutachtens. Unter anderem wird in diesem Zusammenhang gerügt, es werde zwischenzeitlich anhand der jüngsten Abklärungen von Nervenschmerzen ausgegangen, die von den Gutachtern dementsprechend unberücksichtigt geblieben beziehungsweise vom orthopädischen Gutachter fachfremd von der Hand gewiesen worden seien. Nur unzureichend hätten sich die Gutachter zudem zum Verlauf der Arbeitsunfähigkeit geäussert, sodass nicht einzusehen sei, weshalb nur Anspruch auf eine befristete Invalidenrente bestehen sollte. Des Weiteren wäre eine Evaluation der funktionellen Leistungsfähigkeit zwingend erforderlich gewesen. Beanstandet werden schliesslich auch die vorinstanzlichen Feststellungen zu den erwerblichen Auswirkungen der Gesundheitsschädigung.
6.
6.1. Nach Auffassung der Vorinstanz war das ABI-Gutachten, umfassend insbesondere eine orthopädische, jedoch keine fachärztliche neurologische Einschätzung, in somatischer Hinsicht voll beweiskräftig. Die im Beschwerdeverfahren neu aufgelegten Arztberichte des Schmerzambulatoriums des Universitätsspitals C._ sowie der Universitätsklinik D._ könnten daran nichts ändern, insbesondere weil sich die behandelnden Ärzte mit der Einschätzung im Gutachten des ABI nicht auseinandersetzten. Eine dauerhafte Verschlechterung der Kniebeschwerden sei gestützt auf die jüngeren Stellungnahmen nicht ausgewiesen, sondern vielmehr werde die bereits bekannte chronifizierte Knieproblematik bestätigt. Ein erneuter operativer Eingriff im Februar 2020 habe lediglich zu einer vorübergehenden Arbeitsunfähigkeit geführt.
6.2. Gemäss dem orthopädischen ABI-Gutachter war nach bildgebender und klinischer Untersuchung eine auffällige, diffuse Druckdolenz an den Knien festzustellen. Auf neurologischer Ebene hätten sich jedoch keine klaren Hinweise für das Vorliegen einer Pathologie im Bereich des peripheren Nervensystems gezeigt. Eine spinale Kompressionsproblematik oder die Läsion eines grösseren peripheren Nervs könnten klinisch weitgehend ausgeschlossen werden. Die als invalidisierend demonstrierten Beschwerden im Bereich des linken Kniegelenks liessen sich durch die klinischen, radiologischen und intraoperativen Befunde nicht klar begründen. Nachvollziehbar sei, so der orthopädische Gutachter weiter, eine Minderbelastbarkeit zufolge eines chondralen Defekts, doch die deutlichen Inkonsistenzen liessen an eine erhebliche nicht-organische Beschwerdekomponente denken.
6.3. Unter den im vorinstanzlichen Verfahren neu eingereichten Stellungnahmen der behandelnden Ärzte befindet sich ein Bericht der Universitätsklinik D._ vom 23. Juli 2020. Danach hätten zwischenzeitlich mehrere Sitzungen im Schmerzzentrum des Universitätsspitals C._ stattgefunden mit therapeutischer Blockade des Nervus saphenus. Der Beschwerdeführer habe darauf deutlich angesprochen, während frühere intraartikuläre Infiltrationen sowie auch die letzte Operation im Februar 2020 wirkungslos gewesen seien. Es sei daraus auf ein neuropathisches Schmerzgeschehen zu schliessen.
Die Stellungnahme vom 23. Juli 2020 wurde erstattet, nachdem die Ärzte während mehrerer Monate (seit September 2019) Massnahmen zu therapeutischen und diagnostischen Zwecken durchgeführt hatten. Nach den erfolglosen früheren Ansätzen mit Infiltrationen sowie einer weiteren Arthroskopie zeigte erst die Nervenblockade eine schmerzlindernde Wirkung. Gestützt darauf erhoben die Ärzte nunmehr neu den Befund eines neuropathischen Schmerzsyndroms. Zudem gingen sie davon aus, dass dieser neu entdeckte Befund eine beträchtliche Einschränkung der Arbeitsfähigkeit verursache (Bericht vom 10. August 2020). Es ergeben sich daraus hinreichende Indizien, die gegen die Einschätzung durch die ABI-Gutachter sprechen. Daran kann nichts ändern, dass anlässlich der Begutachtung, die rund ein Jahr vor Beginn der Abklärungen im Universitätsspital C._ und in der Universitätsklinik D._ (ohne Beizug eines Neurologen) erfolgte, noch keine entsprechenden neurologischen Anhaltspunkte bestanden. Das schliesst keineswegs aus, dass die Nervenschädigung, wenn auch erst später entdeckt, bereits seit längerem die vom Beschwerdeführer geklagten Einschränkungen bewirkte. Dass die fraglichen Berichte erst nach dem Verfügungserlass vom 19. September 2019 datieren, spricht daher nicht gegen deren Berücksichtigung im vorinstanzlichen Verfahren. Gleiches gilt angesichts der erhobenen Befunde und der dazu abgegebenen Beurteilung insoweit, als die behandelnden Ärzte im Zuge der weiterhin laufenden Abklärungen zunächst lediglich von einer Verdachtsdiagnose sprachen. Schliesslich wird die Beweiskraft der betreffenden jüngeren Berichte wenigstens im Sinne eines Indizes gegen die Zuverlässigkeit des Gutachtens auch nicht dadurch geschmälert, dass die darin enthaltene Bescheinigung der mit der Nervenschädigung verbundenen Arbeitsunfähigkeit beziehungsweise die vom ABI-Gutachten abweichende Einschätzung zunächst nicht eingehender begründet wurde. Was sodann den im angefochtenen Urteil erwähnten RAD-Bericht vom 14. August 2020 anbelangt, finden sich die genannten Berichte darin wohl erwähnt, hinsichtlich des neuropathischen Geschehens und der zwischenzeitlichen Therapiebemühungen aber nicht spezifisch gewürdigt.
Indem das kantonale Gericht dennoch ohne Weiteres auf das ABI-Gutachten abstellte, verletzte es die praxisgemäss massgeblichen Beweiswürdigungsregeln. Es bedurfte vielmehr einer Klärung hinsichtlich der widersprüchlichen Einschätzungen durch die Gutachter und die behandelnden Ärzte. Der Fall ist zu diesem Zweck an die Vorinstanz zurückzuweisen, damit sie sich der Sache dementsprechend annehme und - allenfalls nach Einholung eines Gerichtsgutachtens - neu entscheide. Dies betrifft insbesondere auch die Frage, ob eine Invalidität bereits vor dem vorinstanzlich auf 1. August 2016 festgesetzten Rentenbeginn eingetreten sei.
7.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Rückweisung der Sache an das kantonale Gericht oder an den Versicherungsträger zur erneuten Abklärung (mit noch offenem Ausgang) gilt praxisgemäss für die Frage der Auferlegung der Gerichtskosten als volles Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (<ref-ruling> E. 6.1 S. 235; Urteil 8C_715/2016 vom 6. März 2017 E. 6). Die Gerichtskosten werden daher der unterliegenden Beschwerdegegnerin auferlegt (<ref-law>). Des Weiteren hat sie dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zug vom 10. März 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. November 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Durizzo