Sachverhalt:
A.
Der 1964 geborene A._ bezog ab dem 1. Juli 2001 eine ganze Invalidenrente (Verfügung vom 4. August 2004).
Im Rahmen einer wiederholten revisionsweisen Überprüfung der Invalidenrente ab Dezember 2016 tätigte die IV-Stelle Solothurn Abklärungen, insbesondere erstattete Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie, am 21. August 2018 ein erstes und infolge Untersuchungen aufgrund einer anonymen Meldung betreffend Versicherungsmissbrauch am 16. Februar 2019 ein zweites Fachgutachten. Nach einer weiteren bidisziplinären Begutachtung (rheumatologisch, psychiatrisch) durch die Dres. med. C._, Facharzt für Allgemeine Innere Medizin und Rheumatologie, und D._, Facharzt für Psychiatrie und Psychotherapie (Expertise vom 22. Juli 2019), sowie durchgeführtem Vorbescheidverfahren hob die IV-Stelle die bisherige ganze Invalidenrente des Versicherten mit Verfügung vom 17. Juni 2020 auf und verneinte den Anspruch auf berufliche Massnahmen.
B.
Die hiergegen erhobene Beschwerde des Versicherten hiess das Versicherungsgericht des Kantons Solothurn mit Urteil vom 20. August 2021 gut und sprach ihm unter Aufhebung der Verfügung vom 17. Juni 2020 ab 1. August 2020 weiterhin eine ganze Invalidenrente zu.
C.
Die IV-Stelle beantragt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, die Invalidenrente des Versicherten sei unter Aufhebung des angefochtenen Urteils auf eine halbe Rente herabzusetzen. Weiter sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Der Beschwerdegegner beantragt das Nichteintreten, eventualiter die Abweisung der Beschwerde. Ebenso sei der Antrag auf Wiederherstellung der aufschiebenden Wirkung abzuweisen. Sodann ersucht er um Gewährung der unentgeltlichen Rechtspflege. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.
Am 12. Januar 2022 reichte der Beschwerdegegner Unterlagen betreffend die beantragte unentgeltliche Rechtspflege ein.

Erwägungen:
1.
1.1. Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; <ref-ruling> E. 1; <ref-ruling> E. 1.1; je mit Hinweisen).
1.2. Die Beschwerdeführerin wendet sich dagegen, dass das kantonale Gericht hinsichtlich der Frage nach einer im relevanten Vergleichszeitraum eingetretenen Verbesserung des psychischen Gesundheitszustandes von der schlüssigen Einschätzung von Dr. med. B._ in seiner ergänzenden Expertise vom 16. Februar 2019 abgewichen ist. Damit rügt sie zumindest implizit auch eine Verletzung der Beweiswürdigungsregeln durch die Vorinstanz und kommt ihrer Begründungspflicht zur Genüge nach. Auf das Rechtsmittel ist einzutreten.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Indes prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (vgl. Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1).
3.
3.1. Vorab streitig und zu prüfen ist, ob Bundesrecht verletzt wurde, indem das kantonale Gericht eine andauernde Verbesserung des psychischen Gesundheitszustandes im massgebenden Vergleichszeitraum seit Rentenzusprache im Jahre 2004 verneint hat.
3.2.
3.2.1. Im angefochtenen Urteil wurden die massgeblichen rechtlichen Grundlagen und die einschlägige bundesgerichtliche Rechtsprechung zutreffend dargelegt. Es betrifft dies namentlich die Erwägungen zur Invalidität (Art. 4 Abs. 1 IVG i.V.m. Art. 7 f. ATSG), zum Rentenanspruch (Art. 28 Abs. 2 IVG), zu den Grundsätzen bei der Revision einer Invalidenrente (Art. 17 Abs. 1 ATSG, Art. 88a Abs. 1 und Art. 88bis Abs. 2 lit. a IVV; <ref-ruling> E. 3; <ref-ruling> E. 5; je mit Hinweisen) und zur Beweiskraft medizinischer Grundlagen (<ref-ruling> E. 3a und 3b), insbesondere auch im Zusammenhang mit einer Revision (Urteil 8C_38/2013 vom 2. September 2013 E. 4.4.3) und der Einholung von Zweitgutachten (unzulässige "second opinion": Urteile 9C_57/2019 vom 7. März 2019 E. 3.2 und 8C_558/2017 vom 1. Februar 2018 E. 3.2.1). Darauf wird verwiesen.
3.2.2. Die gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum betreffen grundsätzlich Tatfragen (<ref-ruling> E. 3.2; Urteil 9C_254/2020 vom 3. Dezember 2020 E. 2.2). Die konkrete Beweiswürdigung bezieht sich ebenfalls auf eine Tatfrage (Urteil 8C_101/2021 vom 25. Juni 2021 E. 2.2). Dagegen geht es bei der Beachtung der Beweiswürdigungsregeln um eine frei überprüfbare Rechtsfrage (<ref-ruling> E. 8.2 mit Hinweisen).
4.
4.1. Das kantonale Gericht hat den beiden Gutachten von Dr. med. B._ vom 21. August 2018 und 16. Februar 2019 Beweiskraft zuerkannt und die psychiatrische Expertise von Dr. med. D._ vom 6. Juli 2019 als unzulässige "second opinion" qualifiziert. Im Vergleich zum Zeitpunkt der Rentenzusprache mit Verfügung vom 4. August 2004 hat die Vorinstanz auf einen grundsätzlich unveränderten psychiatrischen Gesundheitszustand geschlossen. Weiter führte sie aus, eine in somatischer Hinsicht im relevanten Vergleichszeitraum eingetretene Verschlechterung der körperlichen Fähigkeiten vermöge (bei einem Invaliditätsgrad von 100 %) keine Veränderung des Rentenanspruchs zu bewirken. Mangels relevanter Verbesserung erweise sich die Aufhebung der bisherigen ganzen Invalidenrente als unzulässig.
4.2. Die Beschwerdeführerin rügt die vorinstanzliche Schlussfolgerung, wonach keine relevante Verbesserung des psychischen Gesundheitszustandes eingetreten sein soll. Damit dringt sie - wie aufzuzeigen ist - durch.
5.
5.1. Im Verfahren vor Bundesgericht dürfen neue Tatsachen und Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; zum Begriff der neuen Tatsachen und Beweismittel: <ref-ruling> E. 3.3.1 mit Hinweisen). Neue Begehren sind unzulässig (Art. 99 Abs. 2 BGG). Neue rechtliche Begründungen sind vor Bundesgericht im Rahmen des Streitgegenstands zulässig (Art. 95 lit. a und Art. 106 Abs. 1 BGG). Unzulässig ist dies nur, wenn dazu neue Tatsachen im Sinne von Art. 99 Abs. 1 BGG festgestellt werden müssten. Hingegen kann eine neue rechtliche Begründung jedenfalls dann erfolgen, wenn sie sich auf aktenkundige Tatsachen stützt (<ref-ruling> E. 4.1 mit Hinweisen).
Streitgegenstand bildet vorliegend der fortdauernde Anspruch des Beschwerdegegners auf eine ganze Invalidenrente. Die Frage nach einem verbesserten psychischen Gesundheitszustand ist Teil des Streitgegenstandes. Dass sich die Beschwerdeführerin für ihre Begründung auf neue Tatsachen oder Beweismittel stützt, ist nicht ersichtlich, beruft sie sich doch insbesondere auf das aktenkundige ergänzende Gutachten von Dr. med. B._ vom 16. Februar 2019. Aus dem Urteil 8C_18/2007 vom 1. Februar 2007 kann der Beschwerdegegner nichts zu seinen Gunsten ableiten: Für die Beschwerdeführerin bestand mit Blick auf die Begründung in ihrer Verfügung vom 17. Juni 2020 keine Veranlassung zu Weiterungen im Rahmen des vorinstanzlichen Beschwerdeverfahrens. Die Vorbringen im vorliegenden Verfahren sind somit zulässig.
5.2. Die Vorinstanz hat dem Gutachten von Dr. med. B._ vom 21. August 2018 samt ergänzender Expertise vom 16. Februar 2019 Beweiskraft zuerkannt. Hinsichtlich der zweiten Expertise hielt sie ausdrücklich fest, der Facharzt habe nachvollziehbar und schlüssig dargelegt, dass auch unter Berücksichtigung der neuen Informationen (Abklärungen im Zusammenhang mit einem gemeldeten Versicherungsmissbrauch) nach wie vor von der schweren psychischen Störung einer paranoiden Schizophrenie auszugehen sei; lediglich die Einschränkung der Arbeitsfähigkeit sei vom Experten aufgrund einer verbesserten Funktionsfähigkeit mit nurmehr 50 % (statt 100 % gemäss erster Begutachtung) beziffert worden.
Diesbezüglich hat das kantonale Gericht Folgendes konkretisiert: Der Experte habe in seinem zweiten Gutachten im Rahmen der Untersuchung zu den weiteren relevanten Akten eigene Erhebungen durchgeführt, erneut den psychischen Befund erhoben und wiederum die Diagnose einer paranoiden Schizophrenie gestellt. Er sei zum Schluss gekommen, dass die neuen erbrachten Informationen und Untersuchungsergebnisse letztlich nach wie vor mit der gestellten Diagnose vereinbar seien. Es sei trotz der aktuell auffällig wirkenden Angaben mit überwiegender Wahrscheinlichkeit vom Vorhandensein einer schweren psychischen Störung auszugehen. Die aktuellen Untersuchungsergebnisse würden darauf hinweisen, dass die Funktionsfähigkeit des Beschwerdegegners höher sei, als er dies in der ersten Untersuchung vermittelt habe. Es sei überwiegend wahrscheinlich eine Verbesserung des Gesundheitszustandes eingetreten, was sich unter anderem in einer erhöhten Belastbarkeit zeige. Trotz der anzunehmenden Verbesserung der Funktionsfähigkeit und Belastbarkeit sei von einer nach wie vor krankheitsbedingten unterdurchschnittlichen Belastbarkeit und einer erhöhten Rückfallgefahr auszugehen. Ideal wäre eine Tätigkeit mit geringen Anforderungen an die Interaktion, die der Beschwerdegegner vorzugsweise alleine ausführen könnte, die gut strukturiert wäre und genügend Möglichkeiten für Pausen anbieten würde. Ebenso wäre es günstig, wenn klare Ansprechpersonen verfügbar und die Aufgaben klar definiert seien. In einer solchen Tätigkeit wäre von einer 50%igen Einschränkung der Arbeitsfähigkeit auszugehen.
Obwohl das kantonale Gericht diese gutachterliche Einschätzung ausdrücklich für schlüssig erachtet hat, ist es in der Folge davon abgewichen, indem es auf einen grundsätzlich unveränderten psychischen Gesundheitszustand geschlossen hat. Soweit sie sich dabei auf den gemäss Experten "fluktuierenden Verlauf" der psychischen Symptomatik beruft, der sich (nur) temporär auf die Funktionsfähigkeit des Beschwerdegegners auswirke, verkennt die Vorinstanz, dass Dr. med. B._ trotz dieses allfälligen Umstandes insgesamt mit begründeter Stellungnahme von einer Verbesserung ab der zweiten Begutachtung im November 2018 ausging (Expertise S. 10 ff.).
Die Vorinstanz hat somit die Beweiswürdigungsregeln und damit Bundesrecht verletzt (vgl. E. 3.2.2 hiervor). Weiterungen erübrigen sich. Hinsichtlich des psychischen Gesundheitszustandes ist entgegen der Vorinstanz mit dem unbestritten beweiskräftigen Gutachten von Dr. med. B._ vom 16. Februar 2019 von einer relevanten Verbesserung ab November 2018 und damit im vorliegend massgeblichen Vergleichszeitraum seit Rentenzusprache im Jahre 2004 auszugehen. Die Beschwerde ist begründet.
5.3. Mit Blick auf das Gesagte ist die Sache an die Vorinstanz zurückzuweisen. Diese hat neu über die strittigen Ansprüche (Invalidenrente, berufliche Eingliederungsmassnahmen) zu entscheiden.
6.
Die Rückweisung der Sache an die Vorinstanz mit noch offenem Ausgang gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 und Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie beantragt und ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird (vgl. <ref-ruling> E. 11.1; <ref-ruling> E. 7.1). Dem Ausgang des Verfahrens entsprechend trägt damit grundsätzlich der Beschwerdegegner die Gerichtskosten. Seinem Gesuch um Gewährung der unentgeltlichen Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; <ref-ruling> E. 4a). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist. Die obsiegende IV-Stelle hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG).
7.
Das Gesuch um aufschiebende Wirkung wird mit dem heutigen Urteil gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und das Urteil des Versicherungsgerichts des Kantons Solothurn vom 20. August 2021 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Roger Zenari wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdegegners wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Januar 2022
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Nünlist