Sachverhalt:
A.
A.a. Der 1975 geborene, zuletzt als Bauarbeiter erwerbstätige A._ meldete sich im Juli 2004 wegen eines Hand- und Fussekzems bei der Invalidenversicherung zum Leistungsbezug an. Am 19. August 2004 wies die IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle) das Leistungsbegehren ab. In der Folge führte die Schweizerische Unfallversicherungsanstalt (nachfolgend: Suva) weitere Abklärungen durch und bejahte schliesslich einen Rentenanspruch (Invaliditätsgrad: 52 %). Dem schloss sich die IV-Stelle an und sprach A._ ab September 2005 eine halbe Invalidenrente zu (Verfügung vom 4. Dezember 2007). Auf dessen Beschwerde hin legte das Sozialversicherungsgericht des Kantons Zürich den Rentenbeginn mit rechtskräftig gewordenem Entscheid vom 3. Dezember 2009 auf 1. Oktober 2004 fest.
A.b. Im Mai 2013 leitete die IV-Stelle ein Revisionsverfahren ein, veranlasste beim Spital B._ ein dermatologisches Gutachten vom 14. Mai 2014 und plante die berufliche Wiedereingliederung. Nachdem A._ die Zielvereinbarung für eine in Aussicht gestellte Potenzialabklärung mehrmals nicht retourniert hatte, entschied die Verwaltung nach durchgeführtem Mahn- und Bedenkzeitverfahren aufgrund der Akten und hob die Invalidenrente mit Verfügung vom 3. November 2017 per Ende des auf die Zustellung folgenden Monats auf (Invaliditätsgrad: 22 %).
B.
Die dagegen erhobene Beschwerde des A._ wies das kantonale Gericht mit Entscheid vom 29. November 2019 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des angefochtenen Entscheides sei die IV-Stelle zu verpflichten, ihm die bisherige Invalidenrente weiterhin auszurichten. Alsdann ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Soweit der Beschwerdeführer vorab in formeller Hinsicht vorbringt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt, indem sie es unterlassen habe, den Parteien im Hinblick auf <ref-ruling> Gelegenheit zur Stellungnahme einzuräumen, dringt er nicht durch.
Eine neue Praxis ist im Grundsatz sofort und überall anwendbar. Sie gilt nicht nur für künftige, sondern für alle im Zeitpunkt der Änderung noch hängigen Fälle (statt vieler: Urteil 9C_700/2015 vom 18. Juli 2016 E. 3.2 mit Hinweis). Das in <ref-ruling> publizierte Urteil 8C_163/2018 ist am 28. Januar 2019 ergangen. In diesem Zeitpunkt war das vorliegende Verfahren offenkundig noch hängig, datiert doch der vorinstanzliche Entscheid vom 29. November 2019. Demzufolge ist keine Rechtsverletzung ersichtlich, wenn das kantonale Gericht das hier interessierende Grundsatzurteil ohne Weiterungen herangezogen hat.
3.
Streitig und zu prüfen ist, ob die von der Beschwerdegegnerin infolge fehlender Mitwirkung (Art. 8a Abs. 1 in Verbindung mit <ref-law> und <ref-law>) verfügte Rentenaufhebung vor Bundesrecht stand hält.
Nicht im Streit liegt demgegenüber, dass eine Wiedererwägung (vgl. <ref-law>) der rentenzusprechenden Verfügung vom 4. Dezember 2007 ausgeschlossen ist, nachdem diese Gegenstand gerichtlicher Beurteilung war (vgl. <ref-law>; <ref-ruling> E. 2.1 S. 148 f.).
3.1. Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze zur Invalidität und Erwerbsunfähigkeit (Art. 7 f. ATSG), betreffend den Rentenanspruch bzw. dessen Umfang (Art. 28 Abs. 1 und 2 IVG) sowie die Funktion und den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) korrekt dargelegt. Zutreffend wiedergegeben hat es auch die Pflicht der versicherten Person, im Rahmen der ihr obliegenden Schadenminderungspflicht alles ihr Zumutbare zu unternehmen, um die Dauer und das Ausmass der Arbeitsunfähigkeit (<ref-law>) zu verringern und den Eintritt der Invalidität (<ref-law>) zu verhindern (<ref-law>). Gleiches gilt für die Ausführungen betreffend die möglichen Sanktionen bei Verletzung dieser Pflicht (<ref-law> in Verbindung mit <ref-law>) sowie zum Mahn- und Bedenkzeitverfahren (<ref-law>; Urteil 9C_671/2016 vom 20. März 2017 E. 2 mit Hinweisen). Darauf wird verwiesen.
3.2. In <ref-ruling> hat das Bundesgericht die Art. 7 Abs. 2 lit. e und 8a IVG (beide in Kraft seit 1. Januar 2012) ausgelegt. Gemäss Erwägung 4.3.1 führen sämtliche Auslegungsmethoden einheitlich zum Schluss, dass Rentenbezügerinnen und -bezüger auch bei fehlendem Revisionsgrund im Sinne von <ref-law> nicht nur berechtigt, sondern auch verpflichtet sind, an zumutbaren Massnahmen aktiv teilzunehmen. Dies betrifft Personen mit ganzen und Teilrenten gleichermassen. Gestützt auf <ref-law> geht es in einem umfassenden Sinn um die "Wiedereingliederung" mittels entsprechender Massnahmen. Mit Widerstand der einzelnen rentenbeziehenden Personen, welche sich mit einem Wiedereingliederungsplan der Verwaltung konfrontiert sehen, wurde bereits im Gesetzgebungsprozess gerechnet, weshalb eine klar verpflichtende Regelung beabsichtigt war. Zudem sollen flankierende Massnahmen - so neben der Weiterausrichtung der Rente bis zum Abschluss der Massnahmen auch der auf drei Jahre ab Entscheid der IV-Stelle begrenzte Anspruch auf Beratung und Begleitung gemäss <ref-law> - den Weg der "Eingliederung aus Rente" unterstützen. Der Verpflichtung zur aktiven Teilnahme an Eingliederungsmassnahmen wird durch die Sanktionierungsmöglichkeiten der Kürzung oder Verweigerung von Rentenleistungen Nachdruck verliehen.
4.
Die Vorinstanz hat dem dermatologischen Gutachten des Spitals B._ vom 14. Mai 2014 Beweiskraft zuerkannt, wonach der Beschwerdeführer in angepasster Tätigkeit zu 100 % arbeitsfähig ist. Sie hat erwogen, damit stehe ein Eingliederungspotenzial aus gesundheitlicher Sicht fest. Indessen habe der Beschwerdeführer durch sein Verhalten sein Desinteresse an der vorgesehenen Potenzialabklärung deutlich zum Ausdruck gebracht und seine Mitwirkungspflicht verletzt. Da die IV-Stelle das Mahn- und Bedenkzeitverfahren korrekt durchgeführt habe, sei sie berechtigt gewesen, wie angedroht anhand der Akten zu entscheiden. Sodann hat das kantonale Gericht das Valideneinkommen aufgrund der Tabellenwerte der Schweizerischen Lohnstrukturerhebung (LSE) für das Baugewerbe auf Fr. 69'792.52 festgelegt und diesem ein Invalideneinkommen von Fr. 67'321.20 gegenüber gestellt (vgl. <ref-law>). Gestützt darauf hat es, unter Berücksichtigung des höchstmöglichen Abzugs vom Tabellenlohn, einen maximalen Invaliditätsgrad von (gerundet) 28 % ermittelt und die Verfügung vom 3. November 2017 bestätigt.
5.
5.1. Was der Beschwerdeführer gegen die Beweiskraft des Gutachtens des Spitals B._ vom 14. Mai 2014 vorbringt, verfängt nicht. Insbesondere kann nicht verlangt werden, dass die begutachtenden Arztpersonen sämtliche medizinischen Akten auflisten müssen. In concreto wird denn auch klar auf das von der IV-Stelle eingereichte medizinische Dossier Bezug genommen ("Unsere Informationen stützen sich auf Ihre Unterlagen"). Dies genügt jedenfalls, zumal das Gutachten ausserdem - entgegen der Ansicht des Beschwerdeführers - eine umfassende Anamnese ("Jetziges Leiden") enthält, wobei die für die Beurteilung entscheidenden ärztlichen Stellungnahmen im Fokus standen. So bezogen die Gutachter nicht nur den Bericht der Klinik C._ vom 24. Oktober 2005 mit ein, sondern hielten zudem explizit fest, im Vergleich zum Gesundheitszustand vom November 2005 ("Beurteilung nach Hospitalisation in der Klinik für Dermatologie, U._"; vgl. Bericht des Spitals B._ vom 29. September 2005) sei der Hautbefund ähnlich ("aktuell vergleichbar") bis leicht besser. Insgesamt beruht das dermatologische Gutachten des Spitals B._, wie im angefochtenen Entscheid zu Recht dargelegt, auf detaillierten Untersuchungen und (Haut-) Testungen, berücksichtigt die angegebenen Beschwerden und ist in der Darlegung der medizinischen Zusammenhänge sowie der Einschätzung der dermatologischen Situation durchaus schlüssig (vgl. <ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Folglich durfte das kantonale Gericht darauf abstellen, ohne Bundesrecht zu verletzen.
5.2. Angesichts der somit beweiskräftigen Ausführungen der Experten des Spitals B._ ist seit der letzten rechtskonformen materiellen Prüfung (statt vieler: <ref-ruling> E. 5.4 S. 114) im Dezember 2009 unbestritten von einem im Wesentlichen unveränderten medizinischen Sachverhalt auszugehen (vgl. Gutachten vom 14. Mai 2014, S. 14) was im revisionsrechtlichen Kontext unbeachtlich bleibt (<ref-ruling> E. 2.3 S. 11 mit Hinweisen). Das schliesst jedoch nicht aus, dass Eingliederungsmassnahmen durchgeführt werden können, soweit sie zumutbar sind ("Eingliederung aus Rente"; <ref-ruling> E. 4.3.1 S. 13).
6.
6.1. Diesbezüglich hat das kantonale Gericht festgestellt, Anhaltspunkte, die für eine Unzumutbarkeit von Eingliederungsmassnahmen sprächen, liessen sich aus dem Gutachten des Spitals B._ nicht ableiten. Auch der behandelnde Dermatologe Dr. med. D._habe in seinem Bericht vom 27. August 2013 (Eingang) festgehalten, der Beschwerdeführer könne mindestens ein 50%iges Pensum absolvieren; gegebenenfalls sei die Aufnahme einer Arbeit in einer "Eingliederungswerkstätte" erforderlich.
Inwieweit diese Feststellungen offensichtlich unrichtig sein oder auf einer Rechtsverletzung beruhen sollen, ist nicht ersichtlich. Sie bleiben für das Bundesgericht verbindlich (E. 1).
6.2. Dass die Vorinstanz, wie der Beschwerdeführer meint, die Zumutbarkeit (überhaupt) nicht geprüft hätte, trifft demnach nicht zu. Eine Unzumutbarkeit beruflicher Massnahmen ergibt sich insbesondere nicht aus dem Umstand, dass die Arbeitsfähigkeit für angepasste Tätigkeiten im vorinstanzlichen Entscheid vom 3. Dezember 2009 gestützt auf die Angaben des beurteilenden Suva-Arztes Dr. med. E._ auf 66,67 % (um einen Drittel eingeschränkt) festgelegt wurde (vgl. Bericht vom 9. März 2006). Denn damit ist, wie die Vorinstanz zu Recht erwogen hat, einzig der Sachverhalt bis zur damals angefochtenen Verfügung vom 4. Dezember 2007 rechtskräftig beurteilt. Schliesslich überzeugt auch der Einwand, in Anbetracht der am 27. August 2013 bei der IV-Stelle eingegangenen Einschätzung des Dr. med. D._ müsse von einer Verschlechterung des Gesundheitszustands ausgegangen werden, mit Blick auf die beweiskräftigen Angaben der Sachverständigen des Spitals B._ offenkundig nicht. Weiterungen dazu erübrigen sich. Nachdem der Beschwerdeführer auch sonst nichts zu seinen Gunsten aufzuzeigen vermag, ist die vorinstanzliche Schlussfolgerung, von einem Eingliederungspotential sei - mit Blick auf die hohe, fachärztlich einlässlich begründete Restarbeitsfähigkeit (so auch: <ref-ruling> E. 5.3.2 S. 17) - auszugehen und es bestehe Aussicht, dass sich die Erwerbsfähigkeit mittels beruflicher Massnahmen verbessern resp. wiederherstellen lasse, nicht zu beanstanden.
7.
7.1. Was die Verletzung der Mitwirkungspflicht betrifft, teilte die Beschwerdegegnerin dem Beschwerdeführer gemäss willkürfreier (E. 1) Sachverhaltsfeststellung des kantonalen Gerichts am 31. August 2016 mit, sie sei bereit, ihn bei der Wiedereingliederung in den ersten Arbeitsmarkt mittels Potenzialabklärung zu unterstützen. Daraufhin erging die Aufforderung, eine entsprechende Zielvereinbarung und Vollmacht bis 15. September 2016 zu unterzeichnen. Weil der Beschwerdeführer dem nicht nachgekommen war, wurde ihm mit Schreiben vom 28. September 2016 eine (letzte) Frist bis 14. Oktober 2016 angesetzt, um die Dokumente unterzeichnet zurückzusenden. Dabei wurde er wie schon zuvor ausdrücklich auf seine Mitwirkungspflicht und vor allem - unter Hinweis auf <ref-law> - darauf aufmerksam gemacht, dass ihm für den Fall, dass er sich der zumutbaren Eingliederungsmassnahme entziehe oder widersetze, die Leistungen vorübergehend oder dauernd gekürzt oder verweigert werden könnten; diesfalls würde über weitere Leistungsansprüche aufgrund der bestehenden Aktenlage entschieden.
7.2. Der Beschwerdeführer leistete dem Ersuchen, die genannten Unterlagen unterzeichnet zu retournieren, unbestrittenermassen nicht Folge. Mithin wird dem vorinstanzlichen Schluss, damit liege eine Verletzung der Mitwirkungspflicht vor, in der Beschwerde nichts Entscheidendes entgegen gehalten. Ebenso wenig stellt der Beschwerdeführer (substanziiert) in Abrede, dass die Beschwerdegegnerin das Mahn- und Bedenkzeitverfahren gemäss <ref-law> in Verbindung mit <ref-law> korrekt durchführte. Die pauschalen Behauptungen, die Androhung eines Aktenentscheides im Schreiben vom 28. September 2016 sei "rechtswidrig" und es liege kein gültiges Mahn- und Bedenkzeitverfahren vor, genügen offensichtlich nicht, sodass darauf nicht näher einzugehen ist (vgl. Art. 42 Abs. 1 und 2 BGG). Damit ist nicht ersichtlich, inwieweit es rechtsverletzend sein soll, wenn das kantonale Gericht den Aktenentscheid der Beschwerdegegnerin als zulässig qualifiziert hat.
8.
Die vorinstanzliche Bemessung des Invaliditätsgrades (vgl. <ref-law>) ist unbestritten geblieben und gibt zu keinen Bemerkungen Anlass. Nach dem Gesagten ist die vom kantonalen Gericht bestätigte Rentenaufhebung bundesrechtskonform. Ob die Invalidenrente allenfalls wieder aufleben kann, sobald sich der Beschwerdeführer zur Teilnahme an Wiedereingliederungsmassnahmen verpflichtet, ist hier nicht Prozessthema (vgl. <ref-ruling> E. 5.3.3 S. 17). Die Beschwerde ist unbegründet.
9.
Ausgangsgemäss hat grundsätzlich der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege (<ref-law>; <ref-ruling> E. 4a S. 202) kann jedoch entsprochen werden. Es wird indes ausdrücklich auf <ref-law> hingewiesen, wonach er der Bundesgerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen und es wird dem Beschwerdeführer Rechtsanwalt Dominique Chopard als Rechtsbeistand beigegeben.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Rechtsanwalt Dominique Chopard wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Januar 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Der Gerichtsschreiber: Grünenfelder