Sachverhalt:
A.
A.a. Mit Verfügung vom 3. Juli 2014 hob die IV-Stelle des Kantons Zug die A._ (Jg. 1962) rückwirkend für die Zeit ab 1. Juni 2002 gewährte ganze Invalidenrente (Verfügung vom 13. Dezember 2004) auf das Ende des der Verfügungszustellung folgenden Monats hin - mithin per 31. August 2014 - auf. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 26. Februar 2015 mit der Begründung ab, schon die ursprüngliche Rentenzusprache vom 13. Dezember 2004 sei zweifellos unrichtig gewesen. Das Bundesgericht bestätigte diese Betrachtungsweise mit Urteil 8C_251/2015 vom 1. Juni 2015.
A.b. Während des laufenden Verfahrens machte A._ am 6. Mai 2015 eine Verschlechterung seines Gesundheitszustands geltend. Die IV-Stelle trat auf das neue Leistungsbegehren mit Verfügung vom 12. Oktober 2015 nicht ein. Am 27. November 2015 gelangte der Versicherte erneut unter Berufung auf seine verschlechterte gesundheitliche Situation an die Verwaltung. Die IV-Stelle trat auf diese Neuanmeldung ein und tätigte medizinische Abklärungen. Mit Vorbescheid vom 14. April 2016 stellte sie die Abweisung des Leistungsbegehrens in Aussicht. Vom 23. Juni bis 22. Juli 2016 liess sie A._ an drei Tagen observieren und beabsichtigte, ihn durch die Dres. med. B._ und C._ bidisziplinär begutachten zu lassen. Zur angesetzten Begutachtung am 8. März 2017 erschien A._ nicht. Mit Verfügung vom 10. März 2017 trat die IV-Stelle - wie vorgängig mehrfach angekündigt - auf das Leistungsbegehren nicht ein, u.a. mit der Begründung, der Versicherte sei nicht zur vereinbarten Begutachtung bei Dr. med. B._ erschienen und ohne diese könne über das Leistungsbegehren nicht entschieden werden. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 12. Dezember 2017 rechtskräftig ab.
A.c. Mit Verfügung vom 17. März 2017 forderte die IV-Stelle die entstandenen Abklärungskosten in Höhe von Fr. 2'402.95 zurück.
B.
Das Verwaltungsgericht des Kantons Zug wies die gegen die Rückforderungsverfügung erhobene Beschwerde mit Entscheid vom 19. Juli 2018 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, unter Aufhebung des angefochtenen Entscheides, sei er nicht zu verpflichten, die Abklärungskosten zu tragen und es sei auf eine Rückforderung zu verzichten. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. Am 13. Juni 2019 reicht der Versicherte eine weitere Eingabe ein.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Dabei legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheides in tatsächlicher Hinsicht zu unterbleiben. Ebenso entfällt eine Prüfung der Ermessensbetätigung nach den Grundsätzen zur Angemessenheitskontrolle.
2.
Mit rechtskräftigem Entscheid vom 12. Dezember 2017 hielt das Verwaltungsgericht des Kantons Zug fest, die Untersuchungsmaxime werde durch die Mitwirkungspflicht der Parteien relativiert. Das Vorgehen der Verwaltung, eine erneute ärztliche Beurteilung unter Einbezug der Observationsergebnisse zu veranlassen, sei rechtens gewesen. Soweit der Beschwerdeführer sein Nichterscheinen beim Gutachter Dr. med. B._ damit rechtfertigen wolle, dass er keine anfechtbare Verfügung betreffend Gesuch um Entfernung und Löschung der Observationsergebnisse erhalten habe, sei er wegen fehlenden schützenswerten Interesses nicht zu hören, weil er seine Rüge der Unverwertbarkeit der Observationsergebnisse im Verfahren gegen den materiellen Endentscheid hätte vorbringen können. Demnach gebe es keinen Rechtfertigungsgrund für das Nichterscheinen zur Begutachtung, weshalb eine schuldhafte Verletzung der Mitwirkungspflicht im Sinne von Art. 43 Abs. 3 ATSG vorliege. Sodann habe die Verwaltung das Mahn- und Bedenkzeitverfahren durchgeführt, weshalb sie schliesslich zu Recht nicht auf das Leistungsbegehren eingetreten sei.
3.
Im Entscheid vom 19. Juli 2018 hielt das Verwaltungsgericht des Kantons Zug fest, die IV-Stelle habe dem Beschwerdeführer bei Nichterscheinen zum Begutachtungstermin angedroht, dass er die daraus entstehenden Kosten zu übernehmen habe. Gestützt auf Art. 45 Abs. 3 ATSG seien die formellen und materiellen Voraussetzungen zur Kostenüberbindung erfüllt, weshalb dem Beschwerdeführer die Kosten in Höhe von Fr. 2'402.95 mit Verfügung vom 17. März 2017 zu Recht auferlegt worden seien. Auch die bestrittene Kostenhöhe erachtete das Gericht gestützt auf die Abrechnungen der Gutachter anhand des TARMED-Tarifsystems als angemessen und korrekt. Den Antrag auf eine detailliertere Abrechnung wies sie in antizipierter Beweiswürdigung ab.
4.
4.1. Nach Art. 43 Abs. 1 Satz 1 ATSG prüft der Versicherungsträger die Begehren, nimmt die notwendigen Abklärungen von Amtes wegen vor und holt die erforderlichen Auskünfte ein. Kommen die versicherte Person oder andere Personen, die Leistungen beanspruchen, den Auskunfts- oder Mitwirkungspflichten in unentschuldbarer Weise nicht nach, so kann der Versicherungsträger auf Grund der Akten verfügen oder die Erhebungen einstellen und Nichteintreten beschliessen (Art. 43 Abs. 3 Satz 1 ATSG; vgl. Urteil 8C_733/2010 vom 10. Dezember 2010 E. 3.1 mit weiteren Hinweisen).
4.2. Gemäss Art. 45 Abs. 1 Satz 1 ATSG übernimmt der Versicherungsträger die Kosten der Abklärung, soweit er die Massnahme angeordnet hat. Die Kosten können der Partei auferlegt werden, wenn sie trotz Aufforderung und Androhung der Folgen die Abklärung in unentschuldbarer Weise verhindert oder erschwert hat (Art. 45 Abs. 3 ATSG).
5.
5.1. Die Beschwerde dreht sich über weite Strecken um die Verwertbarkeit der Observationsergebnisse und die Weigerung des Versicherten, unter den gegebenen Umständen an der vorgesehenen Begutachtung mitzuwirken. Diese Fragen wurden mit Entscheid vom 12. Dezember 2017 rechtskräftig entschieden, indem das kantonale Gericht auf Vorliegen einer schuldhaften Verletzung der Mitwirkungspflicht im Sinne von Art. 43 Abs. 3 ATSG schloss. Somit liegt in Bezug auf die korrekte Aufforderung zur Begutachtung und das die Mitwirkungspflicht verletzende Verhalten des Beschwerdeführers eine abgeurteilte Sache vor (res iudicata vgl. <ref-ruling> E. 4.2 S. 13 f., 142 III 210 E. 2.1 S. 212). Auf die diesbezüglichen Einwendungen des Beschwerdeführers ist daher nicht weiter einzugehen.
5.2. Zur Verfügung vom 17. März 2017 betreffend Kostenauferlegung gestützt auf Art. 45 Abs. 3 ATSG wendet der Beschwerdeführer ein, sein Verhalten sei nicht kausal für die entstandenen Kosten gewesen, da er klar angekündigt habe, dass er nicht zur Begutachtung erscheinen werde, wenn den Gutachtern das Observationsmaterial zur Verfügung gestellt werde. In dieser Konstellation sei es nicht ihm anzulasten, dass die Beschwerdegegnerin die Termine nicht (früher) abgesagt habe. Es liege kein stichhaltiger Grund für die Kostenüberbindung vor. Die Verwaltung hätte den angedrohten Nichteintretensentscheid auch fällen können, wenn sie die Begutachtungstermine rechtzeitig abgesagt hätte.
5.3.
5.3.1. Es steht, wie erwähnt, fest, dass der Beschwerdeführer seine Mitwirkungspflicht durch die Nichtteilnahme an der bidisziplinären Begutachtung verletzte. Wenn die IV-Stelle einwendet, es könne nicht sein, dass eine versicherte Person mit ihrer einfachen Ankündigung, nicht zur Abklärung zu erscheinen, folgenlos das Abklärungsverfahren sabotieren könne, ohne dass dies Konsequenzen habe, ist dies nicht stichhaltig. Mit dieser Argumentation verkennt sie, dass die diesbezüglichen Folgen des dadurch unbewiesen gebliebenen Sachverhalts durchaus der Versicherte trägt, indem die IV-Stelle androhungsgemäss auf sein erneutes Leistungsbegehren nicht eintrat.
5.3.2. Eine Kostenüberbindung des ärztlicherseits in Rechnung gestellten Aufwands gemäss Art. 45 Abs. 3 ATSG ist jedoch nicht bereits dadurch gerechtfertigt, dass die Mitwirkung bei der medizinischen Untersuchung pflichtwidrig verletzt wurde. Im Urteil K 222/05 vom 29. August 2006 hat sich das Bundesgericht mit der ausnahmsweisen Überbindung der Abklärungskosten bei einer versicherten Person befasst, die ihrem Krankenversicherer Rechnungen und Quittungen mit - auf ihr Begehren hin - wahrheitswidrigen Angaben einreichte. Es erkannte hierzu, dass mit der offensichtlichen Manipulation der Rechnungen ein tadelnswertes und zu missbilligendes Verhalten vorliege, welches die ausnahmsweise Überbindung der Abklärungskosten zu rechtfertigen vermöge. Die dem Verursacherprinzip folgende Bestimmung von Art. 45 Abs. 3 ATSG beschlägt mit Blick auf den Wortlaut und ihrem Sinn und Zweck entsprechend die Auferlegung einzig derjenigen Kosten, die entstanden sind, weil die Partei durch ihr unentschuldbares Verhalten eine Abklärungsmassnahme verhindert oder erschwert hat. Voraussetzung für im Ausnahmefall zu tragende Kosten ist somit ein bezüglich der Kostenverursachung vorwerfbares Verhalten (UELI KIESER, ATSG-Kommentar, 3. Aufl. 2015, N. 38 f. zu Art. 45; ANNE-SYLVIE DUPONT, Commentaire Romand LPGA, 2018, N. 22 zu Art. 45; THOMAS LOCHER/THOMAS GÄCHTER, Grundriss des Sozialversicherungsrechts, 4. Aufl. 2014, § 70 Rz. 71).
5.4.
5.4.1. Zu prüfen bleibt daher, ob der Beschwerdeführer die gutachterlicherseits in Rechnung gestellten Aufwendungen in unentschuldbarer Weise verursachte. In sachverhaltlicher Hinsicht ist unbestritten, dass die IV-Stelle den Gutachtensauftrag am 11. Januar 2017 erteilte und die beiden Untersuchungen am 8. und 23. März 2017 vorgesehen waren. Am 12. Januar 2017 verlangte der Rechtsvertreter des Versicherten die Entfernung der Observationsergebnisse aus den Akten. Mit Antwortschreiben vom 10. Februar 2017 führte die IV-Stelle aus, dass sie weiterhin die Teilnahme des Beschwerdeführers an der Begutachtung erwarte und drohte ihm im Sinne von Art. 43 Abs. 3 ATSG an, dass er bei Nichterscheinen mit einem Aktenentscheid oder einem Nichteintreten auf sein Leistungsgesuch rechnen müsse. Am 24. Februar 2017 liess der Beschwerdeführer über seinen Rechtsanwalt mitteilen, dass er nicht erscheinen werde, wenn das Observationsmaterial den Gutachtern zur Verfügung gestellt werde. Am 1. März 2017 betonte die IV-Stelle nochmals, dass er an der Massnahme teilnehmen müsse und merkte an, die IV-Stelle werde bei Nichterscheinen die Auferlegung der angefallenen Gerichtskosten nach Art. 45 Abs. 3 ATSG prüfen. Sie bat Dr. med. B._ am 7. März 2017 zu melden, falls der Versicherte morgen nicht erscheine, was eine Mitarbeiterin seiner Praxis anderntags bestätigte und ausführte, sie habe mit dem Versicherten telefoniert und er habe gesagt, dass er nicht komme, was er schon der IV-Stelle mitgeteilt habe. Erst nachdem der Beschwerdeführer den Termin vom 8. März 2017 bei Dr. med. B._ (wie angekündigt) nicht wahrgenommen hatte, annullierte die IV-Stelle mit Schreiben vom 10. März 2017 den gesamten Auftrag zur Begutachtung und bat Dr. med. C._ um Rechnungsstellung der angefallenen Kosten.
5.4.2. Aus dem zeitlichen Ablauf der Geschehnisse geht hervor, dass sich der Versicherte gegenüber der IV-Stelle stets unmissverständlich gegen die Teilnahme an der Begutachtung ausgesprochen hatte, falls die Dokumente der Observation den Experten vorgelegt würden. Spätestens mit Schreiben vom 24. Februar 2017 musste die IV-Stelle davon ausgehen, dass sich der Beschwerdeführer der veranlassten Begutachtung nicht unterziehen wird, weil sie (zu Recht) daran festhielt, dass die Gutachter die Observationsergebnisse medizinisch zu berücksichtigen hatten. Anders als im erwähnten Urteil K 222/05, wo der Versicherte durch das Einreichen gefälschter Rechnungen in vorwerfbarer Weise einen erhöhten Abklärungsaufwand verursachte, kann hier dem Beschwerdeführer in Bezug auf die Kosten der Abklärung kein über die Verletzung seiner Mitwirkungspflicht hinaus gehendes, zu missbilligendes, tadelnswertes Verhalten vorgeworfen werden. Auch hat er den ersten Termin vom 8. März 2017 nicht kurzfristig platzen lassen. Nachdem im sozialversicherungsrechtlichen Abklärungsverfahren die Leitung des Verfahrens dem Versicherungsträger obliegt (Grundsatz des Amtsbetriebs) und dieser einen Sozialversicherungsfall hoheitlich zu bearbeiten hat (vgl. Art. 43 ATSG; <ref-ruling> E. 7.4 S. 449), wäre es vorliegend an der IV-Stelle gewesen, den Gutachtensauftrag zurückzuziehen. Die Verwaltung hätte es aufgrund der konsequenten Verweigerungshaltung des Versicherten durch ein zügiges Vorgehen ihrerseits in der Hand gehabt, die Begutachtung rechtzeitig abzusagen, ohne dass damit der von den Gutachtern in Rechnung gestellte Aufwand für die kurzfristige Absage / "no show" entstanden wäre. Dies gilt umso mehr, als sie selber auf die verlangte Entfernung des Observationsmaterials aus den Akten vom 12. Januar 2017 erst am 10. Februar 2017 reagierte, indem sie auf eine Begutachtung unter Vorlage der IV-Akten einschliesslich der Observationsunterlagen beharrte. Ein durch die Widersetzlichkeit verursachter Kostenaufwand (vgl. JÜRG MAESCHI, Kommentar zum Bundesgesetz über die Militärversicherung [MVG], Bern 2000, N. 9 zu Art. 90) ist in dieser Konstellation nicht auszumachen. Die strengen Voraussetzungen zur ausnahmsweisen Auferlegung der Abklärungskosten nach Art. 45 Abs. 3 ATSG sind vorliegend nicht erfüllt. Die gegenteilige Annahme der Vorinstanz verletzt Bundesrecht.
6.
Ausgangsgemäss trägt die IV-Stelle die Gerichtskosten (Art. 66 Abs. 1 BGG); überdies hat sie dem Beschwerdeführer eine Parteientschädigung zu entrichten (Art. 68 Abs. 2 BGG). Sein Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht ist demzufolge gegenstandslos.
Was die Kosten des vorinstanzlichen Verfahrens anbelangt (vgl. Art. 68 Abs. 5 BGG) so hat das kantonale Gericht anstelle der Entschädigung für den unentgeltlichen Rechtsbeistand eine Parteientschädigung zuzusprechen (vgl. SVR 2011 AHV Nr. 7 S. 23, 9C_338/2010 E. 5.2 mit Hinweis).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Zug vom 19. Juli 2018 und die Verfügung der IV-Stelle des Kantons Zug vom 17. März 2017 werden aufgehoben.
2.
Die Gerichtskosten von Fr. 600.- werden der IV-Stelle auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Parteientschädigung für das vorangegangene Verfahren an das Verwaltungsgericht des Kantons Zug zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla