Sachverhalt:
A.
Dem 1962 geborenen A._ wurde ab dem 1. Januar 2002 eine ganze Invalidenrente zugesprochen (Verfügung vom 6. Januar 2005).
Im Rahmen einer im Dezember 2012 eingeleiteten Rentenrevision setzte die IV-Stelle des Kantons Zug die Invalidenrente nach polydisziplinärer Begutachtung durch das ABI, Ärztliches Begutachtungsinstitut GmbH, Basel, und durchgeführtem Vorbescheidverfahren mit Verfügung vom 21. Januar 2015 per 1. März 2015 auf eine Viertelsrente herab. Die hiergegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zug mit Urteil vom 12. November 2015 in dem Sinne gut, als es die angefochtene Verfügung aufhob und die Sache zur ergänzenden Sachverhaltsabklärung und zum anschliessenden Neuentscheid an die IV-Stelle zurückwies. Das Bundesgericht trat auf die dagegen erhobene Beschwerde des Versicherten mit Urteil vom 1. Februar 2016 (9C_950/2015) nicht ein.
Die IV-Stelle liess den Versicherten daraufhin durch das Zentrum für Interdisziplinäre Medizinische Begutachtungen AG, Schwyz (ZIMB), polydisziplinär untersuchen. Nach durchgeführtem Vorbescheidverfahren hob sie seine Invalidenrente mit Verfügung vom 10. März 2017 wiedererwägungsweise ab 1. März 2015 auf. Die hiergegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zug mit Urteil vom 26. April 2018 wiederum in dem Sinne gut, als es die angefochtene Verfügung aufhob und die Sache erneut zur ergänzenden Sachverhaltsabklärung und anschliessendem Neuentscheid an die IV-Stelle zurückwies.
Am 6. März 2019 erstattete das BEGAZ, Begutachtungszentrum BL, Binningen, im Auftrag der IV-Stelle ein Gutachten in den Fachdisziplinen Allgemeine Innere Medizin, Rheumatologie, Psychiatrie und Neurologie. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle dem Versicherten mit Verfügung vom 17. Oktober 2019 ab 1. Januar 2018 eine ganze Invalidenrente zu und verneinte für den Zeitraum vom 1. März 2015 bis zum 31. Dezember 2017 einen Rentenanspruch.
B.
Die hiergegen seitens des Versicherten erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zug mit Urteil vom 29. September 2021 insofern gut, als es dem Versicherten in Abänderung der Verfügung vom 17. Oktober 2019 auch für den Zeitraum vom 1. März 2015 bis zum 31. Dezember 2017 eine ganze Invalidenrente zusprach.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle die Aufhebung des angefochtenen Urteils und Bestätigung ihrer Verfügung vom 17. Oktober 2019.
Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung. Der Beschwerdegegner lässt in seiner Beschwerdeantwort die Abweisung der Beschwerde beantragen. Eventualiter lässt er darum ersuchen, es sei festzustellen, dass er gestützt auf die Verfügung vom 6. Januar 2005 auch ab 1. März 2015 (weiterhin) Anspruch auf eine ganze Invalidenrente habe.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; <ref-ruling> E. 1; <ref-ruling> E. 1.1; je mit Hinweisen).
Soweit der Antrag des Beschwerdegegners über die Abweisung der Beschwerde hinausgeht (Antrag 2., S. 2 der Beschwerdeantwort), ist darauf nicht einzutreten. Daran ändert der Umstand nichts, dass die Frage nach dem Vorliegen eines Rückkommenstitels grundsätzlich zusammen mit dem hier strittigen Endentscheid hätte angefochten werden können. Denn dies hätte - was der Beschwerdegegner verkennt - innert der Beschwerdefrist von 30 Tagen ab Zustellung des kantonalen Urteils erfolgen müssen. Im Rahmen der Beschwerdeantwort ist der Beschwerdegegner damit verspätet (vgl. zum Verbot der Anschlussbeschwerde Urteil 9C_288/2021 vom 30. November 2021 E. 2.1 mit Hinweisen).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
2.
2.1. Streitig und zu prüfen ist, ob Bundesrecht verletzt wurde, indem die Vorinstanz dem Beschwerdegegner auch für den Zeitraum vom 1. März 2015 bis zum 31. Dezember 2017 eine ganze Invalidenrente zugesprochen hat.
2.2.
2.2.1. Das kantonale Gericht hat die Grundlagen über die Invalidität (Art. 8 Abs. 1 ATSG), den Rentenanspruch (Art. 28 IVG), die Ermittlung des Invaliditätsgrades mittels Einkommensvergleichsmethode (Art. 16 ATSG) und den Rückkommenstitel der Wiedererwägung (Art. 53 Abs. 2 ATSG) korrekt dargelegt. Gleiches gilt hinsichtlich der Aufgabe des Arztes im Rahmen der Bemessung des Invaliditätsgrades (<ref-ruling> E. 4; vgl. auch <ref-ruling> E. 3.2 mit Hinweisen) sowie der Beweiskraft medizinischer Unterlagen (<ref-ruling> E. 3a und 3b mit Hinweisen). Darauf wird verwiesen.
2.2.2. Zu ergänzen ist, dass das kantonale Versicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen feststellt; es erhebt die notwendigen Beweise und ist in der Beweiswürdigung frei (Art. 61 lit. c ATSG).
2.2.3. Zudem zu beachten gilt es, dass die Missachtung des Untersuchungsgrundsatzes eine Rechtsfrage darstellt (vgl. Urteile 9C_899/2017 vom 9. Mai 2018 E. 2.1 und 8C_673/2016 vom 10. Januar 2017 E. 3.2).
3.
3.1. Das kantonale Gericht hat erwogen, die Sachlage habe sich im Nachgang zu den beiden Rückweisungsentscheiden vom 12. November 2015 und 26. April 2018 so präsentiert, dass die ursprüngliche Verfügung vom 6. Januar 2005 wiedererwägungsweise ex nunc et pro futuro aufgehoben worden sei und über den Rentenanspruch ab 1. März 2015 neu habe verfügt werden müssen, was mit Verfügung vom 17. Oktober 2019 geschehen sei.
In Würdigung der medizinischen Aktenlage hat die Vorinstanz darauf geschlossen, dass (im vorliegend relevanten Zeitraum) in der angestammten Tätigkeit (Hilfsschreiner) mit Blick auf Veränderungen an der Wirbelsäule eine 100%ige Arbeitsunfähigkeit vorliegt. Weiter ging sie aufgrund des in den neueren medizinischen Unterlagen diagnostizierten Multiplen Myeloms und eines damit assoziierten Stiff-Man-Syndroms auch in leidensangepasster Tätigkeit von einer vollständigen Arbeitsunfähigkeit aus. Diesbezüglich folgte sie Dr. med. B._, Facharzt für Neurologie, vom BEGAZ in seiner diagnostischen Einschätzung. Den Eintritt der von ihm festgestellten vollständigen Arbeitsunfähigkeit beurteilte sie jedoch abweichend vom Experten. Während dieser den Beginn der 100%igen Arbeitsunfähigkeit auf Oktober 2017 gesetzt hatte (dazu E. 3.2.1 hiernach), schloss das kantonale Gericht auf das Jahr 2015 und sprach dem Beschwerdegegner gestützt darauf auch für den Zeitraum zwischen dem 1. März 2015 und dem 31. Dezember 2017 eine ganze Invalidenrente zu.
3.2. Was die Beschwerdeführerin dagegen vorbringt, hält - wie aufzuzeigen ist - stand.
3.2.1. Dr. med. B._ diagnostizierte mit Auswirkung auf die Arbeitsfähigkeit den Verdacht auf ein Stiff-Man-Syndrom, wahrscheinlich paraneoplastisch bei Multiplem Myelom, sowie ein chronisches generalisiertes Schmerzsyndrom (neurologisches Teilgutachten des BEGAZ S. 23). Zur Arbeitsfähigkeit führte er aus, in der angestammten Tätigkeit (Hilfsschreiner) sei bezugnehmend auf die früheren Begutachtungen unverändert von einer 100%igen Arbeitsunfähigkeit auszugehen. Aktuell müsse unter Berücksichtigung der neu gestellten Diagnosen eines Multiplen Myeloms beziehungsweise eines damit assoziierten Stiff-Man-Syndroms eine Arbeitsunfähigkeit von 100 % auch in leidensangepassten leichten Tätigkeiten attestiert werden. Der Beginn dieser Einschränkung sei retrospektiv schwierig festzulegen; arbiträr könne er ab dem Zeitpunkt der im Ausland vorgenommenen Abklärungen im Oktober 2017 angenommen werden, wo mit dem pathologischen Liquorbefund (Nachweis oligoklonaler Banden, verdächtig auf ein Autoimmungeschehen) erstmals die zur aktuellen Diagnose führende Erkrankung des Immunsystems festgestellt worden sei (neurologisches Teilgutachten des BEGAZ S. 30 f.).
Das kantonale Gericht hat sein Abweichen betreffend den Zeitpunkt des Eintritts der 100%igen Arbeitsunfähigkeit in leidensangepasster Tätigkeit im Wesentlichen mit zwei Aspekten begründet: Erstens mit einem Laborbefund vom 10. Januar 2017, der auf eine monoklonale Gammopathie hinweist. Sodann damit, dass der Beschwerdegegner bereits ab 2015 für das Stiff-Man-Syndrom typische Beschwerden geklagt haben soll.
3.2.2. Die Beurteilung der Vorinstanz, wonach bereits der Liquorbefund vom 10. Januar 2017 mit dem Hinweis auf eine monoklonale Gammopathie in medizinischer Hinsicht relevant sein soll, entbehrt einer (fach-) ärztlichen Einschätzung als Grundlage. Zwar wirft dieser Befund tatsächlich Fragen hinsichtlich seiner Relevanz und damit auch dem vom Experten festgesetzten Zeitpunkt der vollständigen Arbeitsunfähigkeit in leidensangepasster Tätigkeit auf. Diese schlüssig zu beantworten obliegt jedoch einem Mediziner, insbesondere dem neurologischen Experten selbst, und nicht dem kantonalen Gericht. Diesbezüglich rügt die Beschwerdeführerin zu Recht, dass die Vorinstanz in Verletzung ihrer Untersuchungspflicht (E. 2.2.2 hiervor) auf Rückfragen an den Experten verzichtet hat. Weiterungen erübrigen sich.
Die Beschwerde ist begründet. Die Sache ist an die Vorinstanz zurückzuweisen. Diese hat mittels Rückfragen an Dr. med. B._ vom BEGAZ zu klären, wie sich die Arbeitsfähigkeit in leidensangepasster Tätigkeit ab 2015 entwickelt hat. Diesbezüglich wird der Experte insbesondere zur Relevanz des Liquorbefunds vom 10. Januar 2017, aber auch sämtlicher früherer Laborbefunde, Stellung zu nehmen haben. Weiter wird er den Arbeitsfähigkeitsverlauf bei dieser Gelegenheit auch explizit im Lichte (allfälliger) bereits früher, insbesondere aber ab 2015 geklagter und mit dem Stiff-Man-Syndrom in Einklang stehender Beschwerden zu begründen haben. Nach allfälligen weiteren Abklärungen wird sodann neu über den Anspruch des Beschwerdegegners auf eine Invalidenrente im vorliegend strittigen Zeitraum zu entscheiden sein.
4.
Hinsichtlich der Prozesskosten gilt die Rückweisung der Sache zu neuem Entscheid praxisgemäss als volles Obsiegen (vgl. statt vieler: Urteil 9C_279/2019 vom 1. Juli 2019 E. 3 mit Hinweisen). Dementsprechend hat der Beschwerdegegner die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die Beschwerdeführerin hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zug vom 29. September 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Auf die Anschlussbeschwerde des Versicherten wird nicht eingetreten.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. März 2022
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist