Sachverhalt:
A.
Mit Verfügung vom 5. September 2019 erteilte die IV-Stelle des Kantons Zug dem 1963 geborenen A._ verschiedene Auflagen zwecks Nachweis des gewöhnlichen Aufenthalts in der Schweiz verbunden mit der Androhung, falls diesen Auflagen nicht nachgekommen werde, würde dies zur Einstellung der bisherigen Hilflosenentschädigung führen. Das Verwaltungsgericht des Kantons Zug bestätigte diese Verfügung mit Entscheid S 2019 133 vom 17. November 2020. Auf die dagegen erhobene Beschwerde trat das Bundesgericht mit Urteil 8C_31/2021 vom 8. Februar 2021 nicht ein. Dabei führte es aus, gegen die Auflage könne vor Bundesgericht nicht selbstständig Beschwerde geführt werden, statt dessen könne sie im Rahmen einer allfälligen Beschwerde gegen den Leistungskürzungsentscheid thematisiert werden.
Mittlerweile hatte die IV-Stelle den Anspruch des Beschwerdeführers auf Hilflosenentschädigung per 1. Februar 2020 zufolge Verletzung der auferlegten Mitwirkungspflichten aufgehoben (Verfügung vom 23. Januar 2020).
B.
Mit Verfügung vom 29. August 2019 hob die IV-Stelle den Anspruch des A._ auf Hilflosenentschädigung und Assistenzbeitrag rückwirkend für die Zeit vom 1. Januar 2014 bis 31. Dezember 2017 auf. Mit separater Verfügung vom 17. September 2019 forderte sie die für diese Zeit bereits ausbezahlten Hilflosenentschädigungen zurück. Nach Verrechnung mit den A._ für die Zeit ab Januar 2018 bis August 2019 zustehenden Geldern in der Höhe von Fr. 23'580.- resultierte eine Restschuld von Fr. 16'081.-.
Die gegen diese beiden Verfügungen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid S 2019 138 vom 25. Januar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen,
- in Aufhebung des Entscheids S 2019 138 des Verwaltungsgerichts des Kantons Zug vom 25. Januar 2021 sei von einer Rückforderung bereits ausbezahlter Hilflosenentschädigungen abzusehen,
- in Aufhebung das Entscheids S 2019 133 des Verwaltungsgerichts des Kantons Zug vom 17. November 2020 sei von der am 5. September 2019 verfügten Auflage des monatlichen Erscheines auf der Sozialversicherungsstelle Uri in Altdorf abzusehen,
- sodann sei festzustellen, dass die Verfügung vom 23. Januar 2020 keine Wirkung zeige.

Erwägungen:
1.
Soweit der Beschwerdeführer mit den Anträgen 2 und 3 die von der Verwaltung am 5. September 2019 verfügten, von der Vorinstanz mit Entscheid S 2019 133 vom 17. November 2020 bestätigten Auflagen (erneut) einer Diskussion zuführen will, ist darauf nicht einzutreten. Wie im Urteil 8C_31/2021 vom 8. Februar 2021 ausgeführt, wäre dies im Rahmen einer gegen den wegen Missachtung der Auflagen ergangenen Leistungskürzungsentscheid geführten Beschwerde möglich (gewesen). Gegenstand des vorinstanzlichen Beschwerdeverfahrens S 2019 138, welches den äusseren Rahmen des vor Bundesgericht Anfechtbaren bildet (Art. 86 und 99 BGG), ist indessen allein die Rückforderung von für die Zeit vom 1. Januar 2014 bis 31. Dezember 2017 ausbezahlten Hilflosenentschädigungen (dazu E. 2 hiernach).
2.
2.1. Das kantonale Gericht ist im Verfahren S 2019 138 in einlässlicher Würdigung der Akten und in Auseinandersetzung mit den Parteivorbringen zur Überzeugung gelangt, der gewöhnliche Aufenthaltsort des Beschwerdeführers habe sich in den Jahren 2014 bis 2019 nicht (mehr) in der Schweiz befunden, weshalb sich die während dieser Zeit bezogenen Hilflosengelder und Assistenzbeiträge gestützt auf <ref-law> in Verbindung mit Art. 42 und Art. 42quater IVG nachträglich als zu Unrecht bezogen erweisen würden. In einem weiteren Schritt prüfte das kantonale Gericht die Voraussetzungen für das Zurückfordern des bereits Ausgerichteten und ob die vorgenommene Verrechnung statthaft war. Beides bejahte es in Auseinandersetzung des dagegen Vorgebrachten.
2.2. Was der Beschwerdeführer dagegen einwendet, geht - soweit überhaupt sachbezogen - nicht über eine letztinstanzlich unzulässige appellatorische Kritik hinaus. Er stellt zwar den Geschehensablauf einlässlich dar und erklärt die Beweggründe für seine Auslandsaufenthalte. Inwiefern die von der Vorinstanz dazu getroffenen Sachverhaltsfeststellungen (Aufenthaltsorte, Dauer, Aufenthaltsgründe, etc.) offensichtlich unrichtig im Sinne von <ref-law>, sprich willkürlich (<ref-ruling> E. 1.3.1 S. 91 f.; <ref-ruling> E. 2 S. 117; je mit Hinweisen) und die darauf beruhenden Erwägungen rechtsfehlerhaft sein sollen, geht aus der Beschwerde indessen nicht rechtsgenüglich hervor; lediglich darzulegen, in welchen Punkten das kantonale Gericht nicht seinen Ausführungen gefolgt ist, um daraus direkt auf einen willkürlichen, gegen Beweisführungsregeln und den Gutglaubensschutz verstossenden Entscheid zu schliessen, reicht bei Weitem nicht aus.
3.
Die Beschwerde erweist sich insgesamt als offensichtlich unzureichend begründet, womit darauf im Verfahren nach <ref-law> nicht einzutreten ist.
4.
Das Gesuch um unentgeltliche Rechtspflege ist wegen aussichtsloser Beschwerdeführung abzuweisen (<ref-law>; <ref-ruling> E. 2.3.1 S. 135 f.).
5.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 300.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. April 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Grünvogel