Sachverhalt:
A.
Nachdem die IV-Stelle Zug ein erstes Leistungsgesuch des A._, geboren 1964, mit Verfügung vom 3. November 2009 abgewiesen hatte, meldete dieser sich am 8. April 2015 erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle holte eine Expertise des BEGAZ Begutachtungszentrums BL ein und kündigte A._ gestützt darauf die Abweisung des Leistungsbegehrens an (Vorbescheid vom 20. Februar 2018). Nachdem dieser dagegen hatte Einwand erheben und diverse neue Arztberichte einreichen lassen, beauftragte die IV-Stelle das BEGAZ mit einer bidisziplinären (orthopädisch/psychiatrisch) Verlaufsbegutachtung. Die Expertise wurde am 27. November 2019 erstattet. Der zur Beurteilung der Expertise beigezogene Arzt des Regionalen Ärztlichen Dienstes (RAD) erachtete das Gutachten als untaugliche Beweisgrundlage, weil sich der Versicherte drei Wochen vor den gutachterlichen Untersuchungen einer - der IV-Stelle nicht gemeldeten - Rückenoperation unterzogen habe und der orthopädische Experte infolge des labilen Gesundheitsgeschehens keine schlüssige Beurteilung der Arbeitsfähigkeit in einer adaptierten Tätigkeit habe vornehmen können (Stellungnahme vom 3. Dezember 2019). Daraufhin auferlegte die IV-Stelle A._ - nach Gewährung des rechtlichen Gehörs - mit Verfügung vom 3. Februar 2020 einen Teil der Abklärungskosten im Umfang von Fr. 1500.-, entsprechend den Kosten für sog. "No-Shows" (Nichterscheinen).
B.
Das Verwaltungsgericht des Kantons Zug hiess die hiergegen erhobene Beschwerde gut und hob die Verfügung vom 3. Februar 2020 ersatzlos auf (Urteil vom 14. September 2021).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle Zug die Aufhebung des verwaltungsgerichtlichen Urteils und die Bestätigung der Verfügung vom 3. Februar 2020.
A._ lässt auf Abweisung der Beschwerde schliessen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Die Vorinstanz schliesst - unter Verweis auf die Erwägungen im angefochtenen Urteil - auf Abweisung der Beschwerde und das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
Gemäss <ref-law> übernimmt der Versicherungsträger die Kosten der Abklärung, soweit er die Massnahme angeordnet hat. Die Kosten können der Partei auferlegt werden, wenn sie trotz Aufforderung und Androhung der Folgen die Abklärung in unentschuldbarer Weise verhindert oder erschwert hat (<ref-law>).
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie entgegen der Verfügung der IV-Stelle vom 3. Februar 2020 die Voraussetzungen der Überbindung der Abklärungskosten im Sinne der zitierten Bestimmung verneinte. Dabei steht die Frage im Zentrum, ob der Beschwerdegegner die gutachterlicherseits in Rechnung gestellten Aufwendungen in unentschuldbarer Weise verursachte.
3.
In tatsächlicher Hinsicht stellte die Vorinstanz fest, die IV-Stelle habe den Beschwerdegegner am 18. Juni und 25. Juli 2019 über die Begutachtung im BEGAZ informiert. In beiden Schreiben habe sie ihn darauf aufmerksam gemacht, dass er im Rahmen der Mitwirkungspflicht feststehende Termine melden müsse. Sollte er dieser Pflicht nicht nachkommen, könnten ihm die daraus entstehenden Mehrkosten angelastet werden. Am 18. November 2019 sei bei der IV-Stelle der Operationsbericht einer am 22. Oktober 2019 durchgeführten Rückenoperation eingegangen. Die Untersuchungen durch das BEGAZ hätten jedoch bereits am 14. November 2019 stattgefunden. Das kantonale Gericht erwog weiter, die formellen Voraussetzungen einer Auferlegung der Abklärungskosten an den Beschwerdegegner seien mit Blick auf die Hinweise in den Schreiben vom 18. Juni und 25. Juli 2019 und die eingeräumte Bedenkzeit erfüllt. Allerdings könne dem Beschwerdegegner kein zu missbilligendes, tadelndes Verhalten vorgeworfen werden, das ohne erkennbaren stichhaltigen Grund und unentschuldbar wäre. Damit seien die strengen Voraussetzungen zur ausnahmsweisen Auferlegung der Abklärungskosten nach <ref-law> nicht erfüllt.
4.
Die IV-Stelle rügt zunächst eine Verletzung der Begründungspflicht durch die Vorinstanz und damit eine Gehörsverletzung (<ref-law>).
4.1. Im Rahmen der aus dem Anspruch auf rechtliches Gehör nach <ref-law> fliessenden Begründungspflicht ist es nicht erforderlich, dass sich die Behörde mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich die betroffene Person über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiter ziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-ruling> E. 9.2; <ref-ruling> E. 5.1).
4.2. Das angefochtene Urteil erfüllt die genannten Anforderungen. So stellte die Vorinstanz fest, gemäss den glaubwürdigen Ausführungen des Beschwerdegegners habe dieser darauf vertraut, dass seine langjährige Hausärztin die IV-Stelle über die Rückenoperation vom 22. Oktober 2019 zeitgerecht informieren würde. Sie erwog sodann, es sei irrelevant, ob er darauf hätte vertrauen dürfen oder ob er die Rolle seiner Hausärztin falsch verstanden habe. Entscheidend sei vielmehr, dass er tatsächlich davon ausgegangen sei, der Operationsbericht würde ohne sein Zutun weitergeleitet werden. Das Verhalten des Beschwerdegegners könne nicht mit demjenigen einer versicherten Person verglichen werden, die ihrem Krankenversicherer Rechnungen und Quittungen mit wahrheitswidrigen Angaben eingereicht habe (vgl. Urteil K 222/05 vom 29. August 2006). Vielmehr könne der Beschwerdegegner für sein Verhalten einen entschuldbaren und - nach Auffassung des Gerichts - nachvollziehbaren Grund vorbringen. Dies gelte umso mehr, als der Beschwerdegegner in diesem Zusammenhang auf seine psychische Belastung und die wenigen persönlichen Ressourcen verweise.
Das kantonale Gericht hat demnach hinreichend dargelegt, weshalb es die Voraussetzungen einer Überbindung (eines Teils) der Abklärungskosten an den Beschwerdegegner als nicht erfüllt erachtete. Es hat auch aufgezeigt, weshalb es den Argumenten der IV-Stelle nicht folgte. Dieser war demnach eine sachgerechte Anfechtung des vorinstanzlichen Urteils möglich. Die Rüge der Gehörsverletzung ist unbegründet.
5.
5.1. Die Vorinstanz erkannte richtig, dass der Beschwerdegegner seine Mitwirkungspflicht verletzte, indem er die IV-Stelle nicht rechtzeitig über die Rückenoperation vom 22. Oktober 2019 informierte. Auf die Pflicht zur Meldung von Terminen war er mit Schreiben vom 18. Juni und 25. Juli 2019 ausdrücklich hingewiesen worden. Unter "Termine" sind gemäss Klammerbemerkung in den besagten Schreiben auch Operationstermine zu verstehen. Da sich der Beschwerdegegner im Zeitpunkt der gutachterlichen Untersuchungen in einer postoperativen Rehaphase mit labilem Gesundheitsgeschehen befand, konnte der orthopädische Gutachter keine zuverlässige Beurteilung der Arbeitsfähigkeit in einer angepassten Tätigkeit vornehmen. Der von der IV-Stelle beigezogene Arzt des RAD erachtete das Verlaufsgutachten des BEGAZ deshalb als untaugliche Entscheidgrundlage und empfahl eine erneute Begutachtung sechs Monate nach der Operation vom 22. Oktober 2019. Insofern hat der Beschwerdegegner durch seine Mitwirkungspflichtverletzung unnötige Abklärungskosten verursacht. Es fragt sich, ob das kantonale Gericht Bundesrecht verletzte, indem es das Verhalten des Beschwerdegegners als entschuldbar beurteilte.
5.2. Die IV-Stelle macht geltend, die Vorinstanz habe <ref-law> verletzt, indem sie hinsichtlich der Voraussetzung des schuldhaften Verhaltens einen zu strengen Massstab angewendet habe. Das schuldhafte, zumindest fahrlässige, Verhalten des Beschwerdegegners liege darin, dass dieser trotz wiederholter Abmahnungen seiner Mitwirkungspflicht nicht nachgekommen sei. Dabei seien die Unterlassungen des Rechtsvertreters dem Beschwerdegegner anzurechnen.
5.3.
5.3.1. Wie die Vorinstanz richtig erwogen hat, ist eine Kostenüberbindung nicht bereits dadurch gerechtfertigt, dass der Beschwerdegegner seiner Pflicht zur Meldung des Operationstermins nicht rechtzeitig nachgekommen ist. Verlangt ist vielmehr ein über die Mitwirkungspflichtverletzung hinaus gehendes zu missbilligendes, tadelnswertes Verhalten. Einer versicherten Person können Abklärungskosten nur ausnahmsweise überbunden werden (vgl. <ref-ruling> E. 5.3.2 und E. 5.4.2).
5.3.2. Gemäss Feststellungen der Vorinstanz vertraute der Beschwerdegegner darauf, dass seine Hausärztin die IV-Stelle rechtzeitig über die Rückenoperation unterrichten werde. Die IV-Stelle bringt nichts vor, was diese Sachverhaltsfeststellung als offensichtlich unrichtig erscheinen liesse. Solches ergibt sich insbesondere nicht daraus, dass die Vorinstanz die Angaben des Beschwerdegegners als glaubwürdig erachtete und darauf abstellte. Ebenso wenig lässt der Umstand, dass der Beschwerdegegner gar nicht so oft bei seiner Hausärztin in Behandlung gewesen sei, auf eine offensichtlich unrichtige vorinstanzliche Feststellung schliessen. Das Bundesgericht bleibt folglich an den vom kantonalen Gericht festgestellten Sachverhalt gebunden (vgl. E. 1 hiervor).
5.3.3. Steht somit fest, dass der Beschwerdegegner darauf vertraute, die IV-Stelle werde über die Rückenoperation ins Bild gesetzt, so verletzt es nicht Bundesrecht, wenn die Vorinstanz ein unentschuldbares Verhalten und damit die Voraussetzungen einer ausnahmsweisen Überbindung von Abklärungskosten verneinte. Entscheidend ist nicht, ob der Beschwerdegegner auf einen rechtzeitigen Informationsfluss bezüglich der Rückenoperation vertrauen durfte oder inwieweit ihm das Verhalten seines Rechtsvertreters anrechenbar ist, sondern vielmehr, dass sich sein Fehlverhalten vorliegend in einer Meldepflichtverletzung erschöpft. Ein darüber hinaus gehendes zu missbilligendes, tadelnswertes Verhalten macht die IV-Stelle nicht geltend und ist auch nicht ersichtlich. So nahm der Beschwerdegegner die Begutachtungstermine wahr. Er informierte die Gutachter zudem von sich aus über den durchgeführten Eingriff, wobei er den Bericht über die Operation vom 22. Oktober 2019 zur Exploration mitbrachte. Zweifellos ist das Verhalten des Beschwerdegegners nicht mit demjenigen einer versicherten Person vergleichbar, die ihrem Krankenversicherer Rechnungen und Quittungen mit wahrheitswidrigen Angaben einreicht (vgl. zu Letzterem Urteil K 222/05 vom 29. August 2006).
6.
Nach dem Gesagten hält das angefochtene Urteil vor Bundesrecht stand. Die Beschwerde der IV-Stelle ist unbegründet.
7.
Dem Ausgang des Verfahrens entsprechend hat die unterliegende Beschwerdeführerin die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdegegner eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat den Rechtsvertreter des Beschwerdegegners für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Januar 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Der Gerichtsschreiber: Wüest