Sachverhalt:
A.
A.a. Die IV-Stelle das Kantons Aargau sprach dem 1976 geborenen A._ mit Verfügung vom 26. Mai 2016 eine ganze Invalidenrente für die Zeit vom 1. Juli 2011 bis zum 30. Juni 2012 und eine Viertelsrente ab dem 1. Juli 2012 zu. Das Versicherungsgericht des Kantons Aargau hob die Verfügung auf Beschwerde vom 27. Juni 2016 hin auf und wies die Sache zur weiteren Abklärung und Neuverfügung an die IV-Stelle zurück, ohne A._ vorgängig die Möglichkeit gewährt zu haben, zu diesem Vorgehen Stellung zu nehmen oder die Beschwerde zurückzuziehen (Urteil vom 28. März 2017).
A.b. Am 19. November 2018 verfügte die IV-Stelle neu. Dabei bestätigte sie die im Anschluss an das Rückweisungsurteil vorsorglich per 31. Mai 2017 vorgenommene Einstellung der Rentenleistungen mit der Begründung, die weiteren Abklärungen hätten das Fehlen eines Rentenanspruchs ab dem 1. Juli 2012 ergeben; bereits ausgerichtete Rentenleistungen würden nicht zurückgefordert. Den im Rahmen des Vorbescheidverfahrens gestellten Antrag von A._, ihm sei nachträglich die Möglichkeit zu gewähren, die Beschwerde gegen die ursprüngliche Verfügung vom 26. Mai 2016 zurückzuziehen, lehnte die IV-Stelle ab, da es rechtsmissbräuchlich sei, diesen erst nach Durchführung der verlangten medizinischen Abklärungen zu stellen.
B.
A._ gelangte am 7. Januar 2019 an das Versicherungsgericht des Kantons Aargau mit dem Hauptantrag, ihm sei in Aufhebung der Verfügung vom 19. November 2018 für die Zeit ab dem 1. Juli 2012 eine unbefristete ganze Invalidenrente zuzusprechen.
B.a. Das kantonale Gericht prüfte vorab, ob dem Beschwerdeführer vor Erlass der neuen Verfügung vom 19. November 2018 die Möglichkeit hätte gewährt werden müssen, die Beschwerde gegen die ursprüngliche Verfügung zurückzuziehen und verneinte dies in Abweisung des mit der Beschwerdeerhebung gestellten Antrags auf Gewährung der Rückzugsmöglichkeit (Zwischenentscheid vom 24. September 2019).
B.b. Auf die von A._ dagegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten trat das Bundesgericht mit Urteil 8C_724/2019 vom 15. November 2019 nicht ein, weil sie sich gegen einen Zwischenentscheid richtete und die gesetzlichen Voraussetzungen für eine ausnahmsweise zulässige Anfechtbarkeit (vgl. Art. 93 Abs. 1 lit. a und b BGG) nicht gegeben waren.
B.c. Nach medizinischen Abklärungen teilte des kantonale Gericht A._ mit Beschluss vom 9. Juli 2021 mit, die angefochtene Verfügung vom 19. November 2018 allenfalls zu dessen Nachteil zu ändern, ihm nämlich allein für die Zeit vom 1. Dezember 2016 bis 31. August 2017 eine (ganze) Invalidenrente zuzusprechen, im Übrigen aber einen Rentenanspruch zu verneinen; dazu könne er Stellung nehmen oder allenfalls die Beschwerde zurückziehen. A._ erklärte mit Eingabe vom 20. August 2021 den Rückzug der Beschwerden vom 27. Juni 2016 und vom 7. Januar 2019.
B.d. Mit Urteil vom 20. September 2021 wies das kantonale Gericht die Beschwerde vom 7. Januar 2019 ab und änderte die Verfügung vom 19. November 2018 wie angedroht. Bezogen auf die Rückzugserklärung verwies das kantonale Gericht auf den Zwischenentscheid vom 24. September 2019.
C.
Dagegen lässt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, die Sache sei in Aufhebung des vorinstanzlichen Urteils an das kantonale Gericht zurückzuweisen, damit dieses ihm die Möglichkeit einräume, sowohl seine Beschwerde vom 27. Juni 2016 gegen die ursprüngliche Verfügung vom 26. Mai 2016 wie auch seine Beschwerde vom 7. Januar 2019 gegen die Verfügung vom 19. November 2018 zurückzuziehen. Eventualiter wird um Rechtskraftfeststellung der Verfügung der IV-Stelle vom 26. Mai 2016 ersucht.
Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme, während die IV-Stelle auf Abweisung der Beschwerde schliesst.
Erwägungen:
1.
Wird eine Verfügung (bzw. ein Einspracheentscheid) im Rechtsmittelverfahren aufgehoben und die Sache für weitere Abklärungen an die Verwaltung zurückgewiesen, so droht dem Beschwerdeführer durch den neuen Verwaltungsakt eine Schlechterstellung im Vergleich zum ursprünglich Verfügten, weshalb ihm in Nachachtung von Art. 61 lit. d BGG vorher die Gelegenheit zur Stellungnahme sowie zum Rückzug der Beschwerde zu geben ist (BGE 137 V 314 E. 3.2). Wird dies versäumt und fasst die Verwaltung hernach eine für den Beschwerdeführer im Vergleich zur ersten Verfügung ungünstigere Verfügung ins Auge, hat sie dies nachzuholen. Unterlässt sie auch dies, so obliegt es der nunmehr allenfalls angerufenen Rechtsmittelinstanz, den Mangel zu beheben, soweit ein für den Beschwerdeführer im Vergleich zur ersten Verfügung nachteiliger Entscheid droht (Urteil 8C_37/2016 vom 8. Juli 2016 E. 8, in: SVR 2017 IV Nr. 12 S. 29).
2.
Die nach dem Rückweisungsurteil vom 28. März 2017 ergangenen weiteren Abklärungen und die gestützt darauf erfolgte neue Beurteilung stellen den Beschwerdeführer im Vergleich zur ersten Verwaltungsverfügung vom 26. Mai 2016 schlechter.
3.
Das kantonale Gericht räumt ein, dem Beschwerdeführer bisher die Möglichkeit verwehrt zu haben, die gegen die erste Verfügung vom 26. Mai 2016 erhobene Beschwerde zurückzuziehen. Anhand der Parteivorbringen im ersten Verfahren habe es in guten Treuen davon ausgehen dürfen, der Beschwerdeführer verzichte auf die ihm gemäss Art. 61 lit. d ATSG zustehenden Verfahrensrechte; diesen Verzicht müsse er sich nunmehr entgegenhalten lassen.
3.1. Ein solcher vorgängiger Verzicht darf - so denn überhaupt zulässig - nicht leichthin angenommen werden. Dass der Beschwerdeführer dies im ersten Verfahren mit der gebotenen Klarheit kundgetan hätte, ergibt sich aus den Verfahrensakten nicht. Weder wurde er diesbezüglich angefragt noch lautete sein Antrag in der Hauptsache auf Rückweisung der Angelegenheit zwecks weiterer Abklärungen. Dass er in verfahrensmässiger Hinsicht eine ungenügende Sachverhaltsabklärung gerügt hat, ohne zugleich weitere Abklärungen durch die Vorinstanz selbst zu fordern, ist in diesem Zusammenhang ohne Belang. Mit anderen Worten: Die Vorinstanz hätte dem Beschwerdeführer in Nachachtung von Art. 61 lit. d ATSG und der dazu ergangenen Rechtsprechung (E. 1 hiervor) vor Erlass des Rückweisungsurteils Gelegenheit zur Stellungnahme und zum Rückzug der Beschwerde geben müssen.
3.2. Im anschliessenden Abklärungsverfahren mit neuer Verfügung ersuchte der Beschwerdeführer die Verwaltung erfolglos um nachträgliche Gewährung der Möglichkeit zum Beschwerderückzug.
Von einem rechtsmissbräuchlichen Vorgehen von Seiten des Beschwerdeführers kann dabei entgegen der in der Verfügung vom 19. November 2018 vertretenen Auffassung nicht ausgegangen werden. Es liegt in erster Linie an der Verwaltung und im Beschwerdefall am Gericht, den Verfahrensbeteiligten die gesetzlich verbrieften Parteirechte zu gewähren und damit für einen rechtmässigen Ablauf besorgt zu sein. Wenn der Beschwerdeführer das Ergebnis der vom kantonalen Gericht für nötig erachteten Abklärungen abwarten wollte und sich nicht schon vorher zu einer beschwerdeweise erwirkbaren Rückzugserklärung durchringen wollte, soll ihm dies nicht schaden (so bereits: Urteil 8C_37/2016 vom 8. Juli 2016 E. 8.2 mit Hinweisen, in: SVR 2017 IV Nr. 12 S. 29).
Somit erweist sich die Weigerung der Verwaltung, dem Beschwerdeführer vor Erlass der neuen Verfügung vom 19. November 2018 die Möglichkeit zum Beschwerderückzug zu gewähren, ebenfalls als rechtswidrig.
3.3. Angesichts dessen hätte die Vorinstanz den mit Eingabe vom 20. August 2021 gestellten Antrag auf Rückzug der Beschwerden vom 27. Juni 2016 und vom 7. Januar 2019 stattgeben müssen.
4.
Das Urteil des kantonalen Gerichts ist antragsgemäss (Art. 107 Abs. 2 BGG) aufzuheben und die Angelegenheit an die Vorinstanz zurückzuweisen, damit sie nach Art. 61 lit. b BGG verfahre.
5.
Die Gerichtskosten sind ausgangsgemäss der Beschwerdegegnerin zu überbinden (Art. 61 Abs. 1 BGG). Sie hat darüber hinaus dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Das Urteil des Versicherungsgerichts des Kantons Aargau vom 20. September 2021 wird aufgehoben. Die Sache wird im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, 3. Kammer, dem Bundesamt für Sozialversicherungen und der Vorsorgestiftung B._, schriftlich mitgeteilt.
Luzern, 14. April 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Der Gerichtsschreiber: Grünvogel