Sachverhalt:
A.
A._, geboren 1958, arbeitete zuletzt von Juni 1988 bis zum 25. September 2000 (letzter Arbeitstag) als Speditionsmitarbeiter (Chauffeur/Magaziner) bei der B._ AG (vormals C._ AG). Wegen eines seit 1998 geklagten Rückenleidens meldete er sich am 15. Februar 2001 bei der IV-Stelle des Kantons Zürich (nachfolgend: IV-Stelle oder Beschwerdegegnerin) zum Leistungsbezug an. Nach erwerblichen und medizinischen Abklärungen sprach ihm die IV-Stelle basierend auf einem Invaliditätsgrad von 67 % ab 1. September 2001 eine ganze Invalidenrente zu (Verfügung vom 26. November 2001). Infolge der per 1. Januar 2004 in Kraft getretenen 4. IVG-Revision reduzierte sie den Rentenanspruch bei unverändertem Invaliditätsgrad ab 1. Juni 2004 auf eine Dreiviertelsrente (Verfügung vom 27. April 2004). Nach Einholung des polydisziplinären Gutachtens vom 28. April 2010 bei der Academy of Swiss Insurance Medicine am Universitätsspital Basel (nachfolgend: asim-Gutachten) und revisionsweiser Überprüfung des Rentenanspruchs hielt die IV-Stelle bei unverändertem Invaliditätsgrad am Anspruch auf eine Dreiviertelsrente fest (Mitteilung vom 21. Mai 2010).
Im Rahmen eines weiteren, 2015 von Amtes wegen eingeleiteten Revisionsverfahrens erfuhr die IV-Stelle, dass der Versicherte seit 1. November 2011 als Mitarbeiter Sicherheit der D._ AG (nachfolgend: Arbeitgeberin) im Stundenlohn erwerbstätig war. Gestützt auf das polydisziplinäre Gutachten der SMAB AG (Swiss Medical Assessment- and Business-Center AG) in Bern vom 28. März 2017 (nachfolgend: SMAB-Gutachten) und nach weiteren Abklärungen hob die IV-Stelle die Invalidenrente bei einem neu auf 10 % ermittelten Invaliditätsgrad zufolge einer Meldepflichtverletzung rückwirkend per 1. November 2011 auf (Verfügung vom 16. Juli 2018).
B.
Die hiegegen erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich basierend auf einem Invaliditätsgrad von 35 % ab, soweit es darauf eintrat (Entscheid vom 30. September 2019).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, die Invalidenversicherung habe ihm unter Aufhebung des angefochtenen Gerichtsentscheides über den 1. November 2011 hinaus weiterhin die bisherige Rente auf der Basis eines Invaliditätsgrades von 67 % auszurichten. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichten die Vorinstanz und das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2. BGG; <ref-ruling> E. 1 S. 236). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Bei den gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. deren Veränderung in einem bestimmten Zeitraum sowie der konkreten Beweiswürdigung handelt es sich um für das Bundesgericht grundsätzlich verbindliche Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.; Urteil 8C_695/2019 vom 18. Dezember 2019 E. 1.2). Dagegen sind frei überprüfbare Rechtsfragen (Urteil 8C_775/2018 vom 24. April 2019 E. 1.2 mit Hinweis) die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, <ref-law>) und der Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352).
2.
Streitig ist, ob die Vorinstanz zu Recht die Aufhebung der Dreiviertelsrente der Invalidenversicherung per 1. November 2011 bestätigt hat.
3.
3.1. Die Vorinstanz hat die massgebenden Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>) sowie über den Anspruch auf eine Invalidenrente (<ref-law>) zutreffend dargelegt. Dasselbe gilt für die Modalitäten der Revision einer Invalidenrente (<ref-law>; <ref-ruling> E. 2.3 S. 10; <ref-ruling> E. 3 S. 132; je mit Hinweisen), insbesondere der zu vergleichenden Zeitpunkte (<ref-ruling>; in <ref-ruling> nicht, jedoch in SVR 2017 IV Nr. 51 S. 152 publ. E. 2.2 des Urteils 9C_297/2016), die Voraussetzungen einer rückwirkenden Aufhebung der Rente (Art. 77 und Art. 88bis Abs. 2 lit. b IVV; <ref-ruling> E. 3.2.1 S. 260; Urteile 8C_859/2017 vom 8. Mai 2018 E. 4 und 8C_26/2018 vom 27. September 2018 E. 4) und die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
3.2. Ergänzend ist Folgendes festzuhalten:
3.2.1. Anlass zur Rentenrevision gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen seit Zusprechung der Rente, die geeignet ist, den Invaliditätsgrad und damit den Anspruch zu beeinflussen. Insbesondere ist die Rente bei einer wesentlichen Änderung des Gesundheitszustands revidierbar. Weiter sind, auch bei an sich gleich gebliebenem Gesundheitszustand, veränderte Auswirkungen auf den Erwerbs- oder Aufgabenbereich von Bedeutung (<ref-ruling> E. 2.3 S. 10 f. mit Hinweisen). Dazu gehört die Verbesserung der Arbeitsfähigkeit aufgrund einer Angewöhnung oder Anpassung an die Behinderung (Urteile 9C_349/2013 vom 24. Oktober 2013 E. 3.1; 9C_292/2012 vom 7. August 2012 E. 2.3). Hingegen ist die lediglich unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts im revisionsrechtlichen Kontext unbeachtlich.
Liegt in diesem Sinne ein Rückkommenstitel vor, gilt es grundsätzlich, mit Wirkung ex nunc et pro futuro einen rechtskonformen Zustand herzustellen. Dabei ist auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts der Invaliditätsgrad im Zeitpunkt der Verfügung über die Herabsetzung oder Aufhebung einer Rente zu ermitteln (Urteile 9C_535/2017 vom 14. Dezember 2017 E. 2.1, nicht publ. in: <ref-ruling>, aber in: SVR 2018 IV Nr. 20 S. 63, und 9C_770/2015 vom 24. März 2016 E. 2.2, in: SVR 2017 IV Nr. 4 S. 7).
3.2.2. Die Herabsetzung oder Aufhebung einer Rente erfolgt einzig dann rückwirkend ab Eintritt der für den Anspruch erheblichen Änderung, wenn der Bezüger die Leistung zu Unrecht erwirkt hat oder der ihm nach <ref-law> zumutbaren Meldepflicht nicht nachgekommen ist (Art. 88 bis Abs. 2 lit. b IVV, sowohl in der bis Ende 2014 als auch in der seither geltenden Fassung; vgl. ausserdem Art. 17 Abs. 1 in Verbindung mit <ref-law> sowie <ref-ruling> E. 7.3 S. 148 ff.). Seit dieser Revision des Art. 88 bis Abs. 2 lit. b IVV kann bei einer Meldepflichtverletzung oder einer unrechtmässigen Erwirkung der Rente die Leistung rückwirkend auf den Zeitpunkt der erheblichen Änderung angepasst werden, ohne dass die Meldepflichtverletzung (oder die unrechtmässige Erwirkung) kausal für die Weiterausrichtung der Rente gewesen sein muss (Urteil 8C_770/2019 vom 3. Februar 2020 E. 3.2 mit Hinweisen).
Jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen ist von den Bezügerinnen und Bezügern, ihren Angehörigen oder Dritten, denen die Leistung zukommt, dem Versicherungsträger oder dem jeweils zuständigen Durchführungsorgan zu melden (<ref-law>; <ref-law>). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits leichte Fahrlässigkeit genügt (<ref-ruling> E. 2a S. 218; Urteil 9C_294/2018 vom 28. November 2018 E. 5.2 mit Hinweisen). Zu viel bezogene Leistungen sind grundsätzlich zurückzuerstatten (<ref-law>).
4.
Gemäss angefochtenem Entscheid kann der Versicherte seine angestammte Tätigkeit als Chauffeur/Magaziner infolge gesundheitlich ausgewiesener Einschränkungen der Leistungsfähigkeit seit 2000 unbestritten nicht mehr ausüben. Seither war er nach Massgabe des asim-Gutachtens in einer leidensangepassten Tätigkeit zu 60 % arbeitsfähig. Basierend auf den gesundheitlichen Einschränkungen der Leistungsfähigkeit gemäss asim-Gutachten bestätigte die IV-Stelle am 21. Mai 2010 bei einem unverändert auf 67 % ermittelten Invaliditätsgrad revisionsweise den bisherigen Rentenanspruch. Weiter steht laut Vorinstanz fest, dass der Beschwerdeführer die ihm obliegende Meldepflicht verletzte, indem er zuletzt auf dem Revisionsfragebogen vom 9. Juli 2015 verschwieg, dass er seit 1. November 2011 als Mitarbeiter Sicherheit für die Firma D._ AG im Stundenlohn und - gemäss dem am 13. Juli 2015 unterzeichneten Arbeitsvertrag - ab 1. August 2015 mit einem 25 %-Pensum tätig war. Zumindest erhebt der Versicherte insoweit gegen den angefochtenen Entscheid keine substanziierten Einwände. Schliesslich ist unbestritten, dass als Vergleichsbasis für die Prüfung des Eintritts eines Revisionsgrundes (vgl. dazu E. 3.2.1 hievor) die Verhältnisse vom 21. Mai 2010 massgebend sind, welche in gesundheitlicher Hinsicht auf den Ergebnissen des polydisziplinären asim-Gutachtens vom 28. April 2010 (nachfolgend: asim-Gutachten) beruhen.
5.
5.1. Laut angefochtenem Entscheid hat sich der Gesundheitszustand gestützt auf das SMAB-Gutachten verglichen mit den Verhältnissen im Referenzzeitpunkt vom 21. Mai 2010 dergestalt verbessert, dass dem Versicherten jedenfalls seit 1. November 2011 eine angepasste Verweistätigkeit zu 100 % zumutbar sei. Das SMAB-Gutachten sei voll beweiskräftig. Von weiteren Abklärungen seien in antizipierter Beweiswürdigung keine entscheidwesentlichen neuen Erkenntnisse zu erwarten.
5.2. Der Beschwerdeführer rügt, das SMAB-Gutachten verletze die bundesrechtlichen Anforderungen an den Beweiswert eines zwecks Rentenrevision erstellten Gutachtens (SVR 2013 IV Nr. 44 S. 134, 8C_441/2012 E. 6.1.2 mit Hinweis). Er bestreitet den Beweiswert in zweifacher Hinsicht.
5.2.1. Einerseits fehle es an einer nachvollziehbaren Begründung und befundmässig dokumentierten Grundlage für den Eintritt einer erheblichen Verbesserung seines Gesundheitszustandes und der Arbeitsfähigkeit zwischen dem Referenzzeitpunkt vom 21. Mai 2010 und dem 1. November 2011. Insbesondere fänden sich weder im SMAB-Gutachten noch in den übrigen Akten echtzeitliche, medizinisch begründete Angaben zur Arbeitsfähigkeit im massgebenden Zeitpunkt des 1. November 2011, wonach ihm damals eine angepasste Verweistätigkeit zu 100 % zumutbar gewesen sein solle. Der orthopädische SMAB-Gutachter Dr. med. E._ habe lediglich vermutungsweise "angenommen", der Zeitpunkt des Eintrittes der Verbesserung falle auf die Arbeitsaufnahme bei der D._ AG am 1. November 2011. Aktenkundig stehe jedoch fest, dass es sich dabei nur um eine in geringem Umfang ausgeübte, im Stundenlohn entschädigte Beschäftigung mit leichten Verkehrsdiensten und Bewachungen gehandelt habe. Gehe man von den Angaben der Arbeitgeberin zur betriebsüblichen Anzahl Wochenarbeitsstunden sowie zum Stundenlohnansatz aus, habe der Versicherte mit Blick auf die gemäss Auszug aus dem individuellen Konto (IK-Auszug) vom 22. Juli 2015 erfassten AHV-beitragspflichtigen Einkommen in den Jahren 2011 bis 2013 bloss Beschäftigungsgrade zwischen rund 26 und 58 % erreicht. Die Erwerbstätigkeit in diesem Umfang entspreche dem damals massgebend gewesenen Belastungsprofil einer 60 %-igen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit gemäss asim-Gutachten. Die Vorinstanz sei offensichtlich unrichtig und damit willkürlich davon ausgegangen, dem Beschwerdeführer sei per 1. November 2011 die Ausübung einer leidensangepassten Tätigkeit bei voller Arbeitsfähigkeit medizinisch zumutbar gewesen.
5.2.2. Andererseits stünden die bis zum Verfügungszeitpunkt vom 16. Juli 2018 mitzuberücksichtigenden objektiv ausgewiesenen Befunde an der Lendenwirbelsäule (LWS) gemäss MRI-Untersuchung vom 6. November 2017 im Widerspruch zu den röntgenologischen Befunden des SMAB-Gutachtens. Der Standpunkt der SMAB-Gutachter, wonach gemäss asim-Gutachten noch ein vergleichsweise deutlich gravierenderer orthopädischer Befund dokumentiert gewesen sei als anlässlich der SMAB-Begutachtung, beruhe auf der röntgenologischen Verlaufskontrolle vom 14. Februar 2017. Diese sei vom orthopädischen SMAB-Gutachter veranlasst worden. Röntgenbilder seien zu ungenau, um gestützt darauf die Entwicklung der dem asim-Gutachten zu Grunde liegenden MRI-Befunde an der Wirbelsäule beurteilen zu können. Die auf Grund der lumbalen Veränderungen geklagten radikulären Beschwerden seien röntgenologisch gar nicht darstellbar. Tatsächlich sei entgegen dem SMAB-Gutachten nicht eine deutliche Verbesserung der objektiven Befunde im Bereich der LWS, sondern - im Gegenteil - basierend auf der MRI-Untersuchung der LWS vom 6. Oktober 2017 eine Verschlechterung eingetreten.
5.3.
5.3.1. Für die richterliche Überprüfungsbefugnis (vgl. <ref-ruling> E. 2.1 i.f. S. 411 mit Hinweis) ist der Gesundheitszustand massgebend, wie er sich bis zum Erlass der Verfügung vom 16. Juli 2018 präsentierte (vgl. SVR 2018 IV Nr. 10 S. 32, 8C_35/2017 E. 3.1, mit Hinweis auf <ref-ruling> E. 3.1.1 S. 220; Urteil 8C_34/2019 vom 8. Mai 2019 E. 4.2). Die Vorinstanz verneinte zwar neue oder zusätzliche Befunde im Vergleich zum SMAB-Gutachten vom 28. März 2017, äusserte sich jedoch mit keinem Wort zum Bericht der Dr. med. F._ betreffend MRI-Untersuchung der LWS vom 6. Oktober 2017. Die entsprechenden Untersuchungsergebnisse scheinen zumindest teilweise von den röntgenologischen Befunden vom 14. Februar 2017 abzuweichen, auf welche sich die SMAB-Gutachter abstützten. Ob die neuen Befunde der MRI-Untersuchung vom 6. Oktober 2017 der Neurologin Dr. med. G._ anlässlich der konsiliarischen Untersuchung vom 7. Mai 2018 bekannt waren, ist nicht ersichtlich. Inwieweit sich insbesondere die Befunde gemäss MRI-Untersuchung vom 6. Oktober 2017 sowie die Einschätzungen der Dr. med. G._ mit den Feststellungen der SMAB-Gutachter zum Gesundheitszustand und zur zumutbaren Leistungsfähigkeit mit Blick auf den massgebenden Verfügungszeitpunkt vom 16. Juli 2018 vereinbaren lassen, wird die Vorinstanz durch geeignete medizinische Abklärungsmassnahmen ergänzend untersuchen lassen.
5.3.2. Soweit das kantonale Gericht bereits für den Zeitpunkt der rückwirkenden Rentenaufhebung per 1. November 2011 den Eintritt einer anspruchserheblichen Änderung der tatsächlichen Verhältnisse im Vergleich zur letzten revisionsrechtlich relevanten Bestätigung eines Invaliditätsgrades von 67 % bejahte, fehlt es an der erforderlichen Feststellung des rechtserheblichen Sachverhalts (vgl. <ref-law>). Weder dem SMAB-Gutachten noch der übrigen Aktenlage sind konkrete, medizinisch nachvollziehbare Hinweise dafür zu entnehmen, dass dem Versicherten seit Beginn der geringen stundenweisen Beschäftigung in der D._ AG ab 1. November 2011 eine angepasste Tätigkeit mit uneingeschränkter Leistungsfähigkeit zumutbar war. Auch diesbezüglich wird das kantonale Gericht den rechtserheblichen medizinischen Sachverhalt durch geeignete Massnahmen weiter abzuklären haben.
5.4. Gestützt auf die Ergebnisse der ergänzenden medizinischen Abklärungen wird die Vorinstanz die strittige rückwirkende Rentenaufhebung per 1. November 2011 unter Berücksichtigung der intertemporalrechtlichen Besonderheiten der erst seit 1. Januar 2015 in Kraft stehenden, heute geltenden Fassung von Art. 88 bis Abs. 2 lit. b IVV (vgl. dazu <ref-ruling> E. 3.2.1 S. 261 mit Hinweis sowie E. 3.2.2 hievor) neu zu beurteilen haben.
5.5. Zusammenfassend ist der angefochtene Entscheid aufzuheben und die Sache zu weiteren medizinischen Abklärungen und anschliessender Neuentscheidung über die Beschwerde im vorinstanzlichen Verfahren an das kantonale Gericht zurückzuweisen.
6.
6.1. Die Rückweisung der Sache an die Vorinstanz gilt praxisgemäss für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 und Art. 68 Abs. 1 sowie 2 BGG, unabhängig davon, ob sie überhaupt beantragt oder ob das Begehren im Haupt- oder im Eventualantrag gestellt wird (<ref-ruling> E. 6.1 S. 235 mit Hinweisen; Urteil 8C_322/2019 vom 11. November 2019 E. 6 mit Hinweis).
6.2. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (<ref-law>).
6.3. Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG). Bei den gegebenen Umständen erscheint der mit detaillierter Kostennote vom 13. Januar 2020 geltend gemachte Gesamtaufwand (einschliesslich Auslagen und Mehrwertsteuer) von total Fr. 5102.50 als ausgewiesen und angemessen.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich, IV. Kammer, vom 30. September 2019 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 5102.50 zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, IV. Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Mai 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Hochuli