Sachverhalt:
A.
A.a. Der 1965 geborene A._ war Produktionsmitarbeiter bei der B._ AG. Am 25. Februar 2006 erlitt er einen Verkehrsunfall. Das Spital C._ diagnostizierte gleichentags eine Commotio cerebri mit/bei leichter Distorsion der Halswirbelsäule (HWS) und eine Rissquetschwunde Augenbraue links. Am 23. Oktober 2006 meldete sich der Versicherte bei der IV-Stelle Luzern zum Leistungsbezug an. Diese zog u.a. ein interdisziplinäres Gutachten der MEDAS vom 13. April 2011 bei. Mit Verfügung vom 23. Januar 2013 sprach sie dem Versicherten vom 1. Februar 2007 bis 30. Juni 2008 eine ganze Invalidenrente und ab 1. Juli 2008 eine Dreiviertelsrente zu. Am 4. Oktober 2013 bestätigte sie die Dreiviertelsrente revisionsweise.
A.b. Vom 17. August bis 8. November 2016 liess die IV-Stelle den Versicherten durch die H._ AG observieren. Die IV-Stelle holte u.a. ein interdisziplinäres Gutachten des Swiss Medical Assessment- and Business-Centers (SMAB), Bern, vom 30. November 2018 ein. Mit Verfügung vom 22. Mai 2019 hob sie die Invalidenrente rückwirkend ab 1. November 2016 auf.
B.
Die hiergegen vom Versicherten erhobene Beschwerde wies das Kantonsgericht Luzern mit Entscheid vom 14. April 2020 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei ihm ab 1. November 2016 eine angemessene Invalidenrente zuzusprechen. Eventuell sei die Sache an die Vorinstanz zurückzuweisen, damit sie ihm korrekt seinen Anspruch auf rechtliches Gehör gewähre. Es sei ihm die unentgeltliche Rechtspflege zu gewähren.
Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfrage ist, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach Art. 61 lit. c ATSG beachtet wurden. Gleiches gilt für die Frage, ob den medizinischen Gutachten und Arztberichten im Lichte der praxisgemässen Anforderungen Beweiswert zukommt (BGE 134 V 231 E. 5.1 S. 232). Bei den aufgrund dieser ärztlichen Unterlagen getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit und bei der konkreten Beweiswürdigung geht es grundsätzlich um Sachverhaltsfragen (nicht publ. E. 1 des Urteils BGE 141 V 585).
2.
Die Vorinstanz hat die rechtlichen Grundlagen über die Rentenrevision (Art. 17 Abs. 1 ATSG; BGE 130 V 343 E. 3.5 S. 349), die rückwirkende Rentenherabsetzung oder -aufhebung (Art. 88 bis Abs. 2 lit. b i.V.m. Art. 77 IVV; BGE 142 V 259 E. 3.2.1 S. S. 260) und die Invaliditätsbemessung bei psychischen Erkrankungen (BGE 143 V 409 und 418, 141 V 281) richtig dargelegt. Gleiches gilt zur Rechtsprechung betreffend den Beweiswert ärztlicher Berichte (vgl. E. 1 hiervor) und die Verwertbarkeit von Beweismitteln, die aus einer Überwachung der versicherten Person stammen (BGE 143 I 377). Darauf wird verwiesen.
3.
Streitig ist, ob die Rentenaufhebung ab 1. November 2016 vor Bundesrecht standhält.
Die Vorinstanz erwog im Wesentlichen, die Verwertung des Ergebnisses der vom 17. August bis 8. November 2016 durchgeführten Observation des Versicherten sei zulässig. Das interdisziplinäre (psychiatrische, neurologische, orthopädisch-traumatologische, internistische und neuropsychologische) SMAB-Gutachten vom 30. November 2018 sei beweiswertig, weshalb darauf abgestellt werden könne. Hierin seien im Gegensatz zum MEDAS-Gutachten vom 13. April 2011 keine psychiatrischen Diagnosen mehr gestellt und sei von einer wahrscheinlichen Aggravation ausgegangen worden. Insofern sei seit der Rentenzusprache vom 23. Januar 2013 eine wesentliche Verbesserung des Gesundheitszustandes eingetreten, wie das psychiatrische SMAB-Gutachten bestätigt habe. Mangels relevanter psychiatrischer Diagnosen könne von der Durchführung des strukturierten Beweisverfahrens nach BGE 141 V 3281 abgesehen werden. Relevant für die Arbeitsfähigkeit sei bloss noch ein chronisches Zervikoverterbralsyndrom mit leichtgradigen Funktionseinschränkungen, aber ohne Hinweis auf eine radikuläre Defizitsymptomatik. Seit der Begutachtung im Jahre 2011 sei der Versicherte in der angestammten Tätigkeit nicht mehr arbeitsfähig. In einer leidensangepassten Tätigkeit sei er hingegen seit Abschluss der Observation im November 2016 uneingeschränkt arbeitsfähig. Da der Versicherte die seit der Rentenzusprache vom 23. Januar 2013 eingetretene Verbesserung seines Gesundheitszustandes der IV-Stelle nicht gemeldet habe, liege eine Meldepflichtverletzung vor. Der Einkommensvergleich habe einen rentenausschliessenden Invaliditätsgrad von 25 % ergeben, so dass die rückwirkende Rentenaufhebung per 1. November 2016 rechtens sei.
4.
Wie die folgenden Erwägungen zeigen, erhebt der Beschwerdeführer gegen die Beweiskraft des SMAB-Gutachtens vom 30. November 2018 insgesamt keine stichhaltigen Einwände (vgl. E. 12 hiernach). Gestützt auf dieses Gutachten bejahte die Vorinstanz zu Recht einen Revisionsgrund, da keine psychiatrische Diagnose mehr vorliegt. Somit durfte die Beschwerdegegnerin den Rentenanspruch in rechtlicher und tatsächlicher Hinsicht umfassend ("allseitig"), ohne Bindung an frühere Beurteilungen prüfen (BGE 141 V 9 E. 2.3 S. 11).
5.
Die Vorinstanz stützte sich bei der Frage nach der Verwertbarkeit der Observationsergebnisse auf die Rechtsprechung gemäss BGE 143 I 377 E. 5.1.1 S. 385 f., wonach das Beweismaterial, das im Rahmen einer rechtswidrig (ohne gesetzliche Grundlage) angeordneten Observation im öffentlich frei einsehbaren Raum gewonnen wurde, im Invalidenversicherungsverfahren gestützt auf eine Interessenabwägung zwischen privaten und öffentlichen Interessen verwertbar ist.
Der Versicherte verweist auf seine in der Beschwerde vom 11. Januar 2018 gegen die Verfügung der IV-Stelle vom 27. November 2017 erhobene Kritik an dieser bundesgerichtlichen Rechtsprechung und an der Verwertbarkeit der Observation. Dieser Verweis auf Ausführungen in früheren Rechtsschriften ist unzulässig (BGE 134 II 244; Urteil 8C_176/2018 vom 27. September 2018 E. 6.1).
6.
Der Beschwerdeführer rügt weiter, eine rechtswidrige Observation während einer längeren Zeitspanne (vom 17. August bis 8. November 2016) sei ein massiver unzulässiger Eingriff in die Grundrechte, weshalb alle daraus resultierenden Folgen nichtig und damit aufzuheben seien.
Die Vorinstanz stellte für das Bundesgericht grundsätzlich verbindlich fest (vgl. E. 1 hiervor), die Überwachung des Versicherten sei im öffentlichen Raum und nur an wenigen Tagen durchgeführt worden. Er sei an drei Tagen (14. September, 27. Oktober und 8. November 2016) ausserhalb seiner Wohnadresse beobachtet worden. An vier Tagen (17. August sowie 7., 14. und 18. Oktober 2016) sei er weder beim Betreten noch beim Verlassen seiner Wohnung gesehen worden. Er sei damit weder einer systematischen noch einer ständigen Überwachung ausgesetzt gewesen. In zeitlicher Hinsicht, aber auch gesamthaft betrachtet, sei der mit der Observation verbundene Eingriff in die Privatsphäre des Beschwerdeführers als äusserst gering zu bewerten. Die Verwertung der Observationsergebnissse sei somit zulässig. Der Vorinstanz ist insofern beizupflichten, als sich jedenfalls ein schwerer Eingriff in die Persönlichkeitsrechte der Versicherten nicht ersehen lässt (vgl. auch Urteil 8C_54/2020 vom 26. Mai 2020 E. 8.2).
7.
Der Beschwerdeführer wendet ein, bei polydisziplinären Gutachten müsse die Gutachterwahl immer nach dem Zufallsprinzip erfolgen (vgl. BGE 140 V 507). Die Unterlagen betreffend die Vergabe der Begutachtung könnten den CD-ROMs vom 15. Februar 2019 und 1. April 2019 nicht entnommen werden. Damit liege eine massive Verletzung seines Anspruchs auf rechtliches Gehör vor, weshalb eine Aktenergänzung zu erfolgen habe.
Die Vorinstanz stellte richtig fest, dass die Wahl des SMAB als Gutachterstelle aufgrund der Auftragsübermittlung der IV-Stelle vom 3. Juli 2018 an die SuisseMED@P korrekt nach dem Zufallsprinzip erfolgte, was Letztere mit E-Mail vom 4. Juli 2018 bestätigte. Zwar räumte die IV-Stelle vorinstanzlich ein, dass die Auftragsübermittlung vom 3. Juli 2018 und die E-Mail der SuisseMED@P vom 4. Juli 2018 zunächst nicht im Aktendossier abgelegt worden seien, was aber nachgeholt worden sei. Hieraus kann der Versicherte indessen nichts zu seinen Gunsten ableiten. Beizupflichten ist der Vorinstanz nämlich, dass er am 7. August 2018 über die vorgesehene Begutachtung durch das SMAB orientiert wurde, aber hiergegen keine Einwände erhob. Die Vorinstanz erwog weiter zu Recht, dass der Versicherte im Rahmen der ihm von der IV-Stelle am 15. Februar 2019 und 1. April 2019 gewährten Akteneinsicht Gelegenheit gehabt hätte, bis zum Verfügungserlass am 22. Mai 2019 Einwände gegen die Gutachtensvergabe und/oder das Fehlen entsprechender Unterlagen zu erheben. Folglich kam die Vorinstanz zutreffend zum Schluss, dass diese erstmals bei ihr vorgebrachten Rügen verspätet waren (vgl. BGE 143 V 66 E. 4.3 S. 69; Urteil 8C_805/2018 vom 21. Februar 2019 E. 7.3.5).
8.
8.1. Der Versicherte beruft sich auf die Berichte des Psychiaters Dr. med. F._, vom 23. Januar und 11. Dezember 2017, der Psychiatrie I._ vom 27. Februar 2018 und 14. August 2018 (richtig 2019), der Psychiaterin Dr. med. G._, vom 6. April 2018 sowie des Hausarztes Dr. med. D._, Facharzt FMH für Innere Medizin und Kardiologie, vom 12. Juni 2019. Die Psychiatrie I._ sei in den besagten Berichten von einer andauernden Persönlichkeitsänderung bei chronischem Schmerzsyndrom (ICD-10 F62.80) ausgegangen. Es bestünden erhebliche Diskrepanzen zwischen diesen echtzeitlichen Beurteilungen und dem SMAB-Gutachten vom 30. November 2018. Die SMAB-Gutachter hätten die echtzeitlichen Beurteilungen nicht diskutiert und auf die Angaben von Drittpersonen verzichtet. Der psychiatrische SMAB-Gutachter habe die echtzeitlichen fachärztlichen Beurteilungen mit der arbiträren und nicht überprüfbaren Begründung übergangen, sie änderten an seiner Einschätzung nichts. Dies zeige, dass die gutachterlichen Abklärungen unvollständig, willkürlich und damit nicht rechtsgenüglich seien.
8.2. Zu diesen Vorbringen ist Folgendes festzuhalten:
8.2.1. Die vom Versicherten angerufenen Arztberichte, welche vor dem SMAB-Gutachten datieren, waren den Gutachtern bekannt. Hiervon abgesehen ist im Rahmen einer Begutachtung nicht erforderlich, dass die Gutachter zu jedem Bericht der behandelnden Arztpersonen Stellung nehmen müssen (Urteil 9C_81/2019 vom 11. November 2019 E. 4.4).
8.2.2. Bezüglich der Einholung von Fremdanamnesen verfügen die ärztlichen Experten über einen grossen Ermessensspielraum (Urteil 8C_411/2019 vom 16. Oktober 2019 E. 6). Der Versicherte zeigt nicht substanziiert auf, inwiefern die gutachterlichen Schlussfolgerungen in dieser Hinsicht auf einer unzureichenden Grundlage beruhen sollen.
8.2.3. Die unterschiedliche Natur von Behandlungsauftrag der therapeutisch tätigen (Fach-) Person einerseits und Begutachtungsauftrag des amtlich bestellten fachmedizinischen Experten anderseits (BGE 124 I 170 E. 4 S. 175) lässt es nicht zu, ein Administrativ- oder Gerichtsgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Arztpersonen bzw. Therapiekräfte zu anderslautenden Einschätzungen gelangen. Vorbehalten bleiben Fälle, in denen sich eine abweichende Beurteilung aufdrängt, weil diese wichtige - und nicht rein subjektiver Interpretation entspringende - Aspekte benennen, die bei der Begutachtung unerkannt oder ungewürdigt geblieben sind (Urteil 8C_73/2020 vom 7. Mai 2020 E. 7.1.3). Solche Aspekte legt der Versicherte nicht substanziiert dar und sind auch nicht ersichtlich. Soweit er sich insbesondere auf die von der Psychiatrie I._ gestellte Diagnose einer andauernden Persönlichkeitsänderung bei chronischem Schmerzsyndrom (ICD-10 F62.80) beruft, ist dem entgegenzuhalten, dass sich der psychiatrische SMAB-Gutacher Dr. med. E._ mit dieser Diagnose befasst und begründet hat, weshalb sie zu verneinen ist. Hiervon abgesehen, ist es für die Bestimmung des Rentenanspruchs grundsätzlich unabhängig von der Diagnose und unbesehen der Ätiologie ausschlaggebend, ob und in welchem Ausmass eine Beeinträchtigung der Arbeits- bzw. Erwerbsfähigkeit vorliegt (BGE 143 V 409 E. 4.2.1 S. 413; Urteil 8C_ 54/2020 vom 26. Mai 2020 E. 11.3).
9.
Der Versicherte bemängelt die Auffassung der Vorinstanz, das strukturierte Beweisverfahren nach BGE 141 V 281 sei vorliegend aus Gründen der Verhältnismässigkeit nicht erforderlich. Wäre es nämlich durchgeführt worden, hätte der SMAB-Psychiater erkennen können, dass seine Beurteilung nicht überzeuge und willkürlich sei. Dem ist entgegenzuhalten, dass im SMAB-Gutachten vom 30. November 2018 keine (relevanten) psychischen Diagnosen gestellt wurden. Unter diesen Umständen verzichtete die Vorinstanz zu Recht auf die Indikatorenprüfung nach BGE 141 V 281 (BGE 143 V 418 E. 7.1 S. 428 unten f.). Hiervon abgesehen zeigte sie im Sinne einer Alternativbegründung auf, weshalb selbst bei deren Durchführung den geklagten psychischen Beschwerden des Versicherten im Rahmen der Konsistenzprüfung eine massgebliche Relevanz für die Arbeitsfähigkeit abgesprochen werden müsste. Hiergegen bringt der Beschwerdeführer keine substanziierten stichhaltigen Einwände vor.
10.
10.1. Der psychiatrische SMAB-Gutachter führte wörtlich Folgendes aus: "Retrospektiv ist die Beurteilung naturgemäss schwierig. Wir gehen davon aus, dass spätestens mit den Ergebnissen der Observation eine deutliche Besserung nachgewiesen ist, also seit 11/2016. Daran ändern auch die Einschätzung der behandelnden Psychiater sowie die Einschätzung im Rahmen der stationären psychiatrischen Behandlung nichts". Der Beschwerdeführer rügt, diese Passage zeige exemplarisch, wie der Gutachter vorgegangen sei. Er habe zwar festgehalten, dass retrospektive Beurteilungen unzulässig seien, habe aber trotzdem eine solche vorgenommen. Zudem habe er mit der Formulierung "Wir gehen davon aus" aus seiner einzelgutachterlichen Beurteilung eine solche aller beteiligten Gutachter gemacht. Dieses Vorgehen sei unzulässig.
10.2.
10.2.1. Obwohl eine retrospektive Beurteilung von Gesundheitszustand und Arbeitsfähigkeit naturgemäss mit Unsicherheiten behaftet ist, führt dies praxisgemäss nicht dazu, diesbezüglichen Aussagen von vornherein jegliche Beweiskraft abzusprechen (Urteil 8C_879/2017 vom 5. Februar 2018 E. 3.2.2). Die Ergebnisse einer zulässigen Observation zusammen mit einer ärztlichen Beurteilung können eine genügende Grundlage für Sachverhaltsfeststellungen betreffend den Gesundheitszustand und die Arbeitsfähigkeit bilden (BGE 143 V 105 E. 2.4 S. 109, 140 V 70 E. 6.2.2. S. 76; Urteil 8C_ 54/2020 vom 26. Mai 2020 E. 2).
10.2.2. Entgegen dem Versicherten erachtete der psychiatrische SMAB-Gutachter eine retrospektive Beurteilung vorliegend nicht als unmöglich, sondern als schwierig. Seine Auffassung, dass der Versicherte in einer leidensangepassten Tätigkeit zu 100 % arbeitsfähig ist, wird von sämtlichen SMAB-Gutachtern geteilt.
Nichts zu seinen Gunsten ableiten kann der Versicherte aus dem Umstand, dass die SMAB-Gutachter von der IV-Stelle beauftragt wurden, seine Arbeitsfähigkeit ab 2. Juli 2018 zu beurteilen, der psychiatrische Gutachter aber zum Schluss kam, bereits seit November 2016 sei eine deutliche Besserung der Arbeitsfähigkeit nachgewiesen.
11.
Der Versicherte bringt weiter vor, gemäss dem Gutachten der MEDAS Zentralschweiz vom 13. April 2011 sei er aus psychischer Sicht keinem Arbeitgeber zumutbar gewesen. Dass sich dies geändert hätte, sei dem SMAB-Gutachten vom 30. November 2018 nicht zu entnehmen. Dem kann nicht beigepflichtet werden. Denn im psychiatrischen SMAB-Gutachten wurde ausgeführt, es liege keine Situation vor, aufgrund welcher der Versicherte seine relevanten arbeitsbezogenen Ressourcen nicht an einem regulären Arbeitsplatz umsetzen könnte.
12.
Insgesamt legt der Beschwerdeführer nicht dar, inwiefern die Vorinstanz in Willkür verfallen sei, indem sie auf das SMAB-Gutachten vom 30. November 2018 abgestellt hat. Ebenso wenig ist ersichtlich, inwiefern sie diesbezüglich sonstwie Bundesrecht verletzt haben könnte (vgl. BGE 135 V 465 E. 4.4 S. 470). Gestützt darauf und auf die Observationsergebnisse hat sie zu Recht erkannt, der Versicherte sei spätestens seit Abschluss der Observation im November 2016 in einer angepassten Tätigkeit uneingeschränkt arbeitsfähig.
13.
Der Versicherte bringt vor, er habe keine Meldepflichtverletzung begangen. Eine rückwirkende Leistungseinstellung ab 1. November 2016 sei somit unzulässig.
13.1. Nach Art. 88 bis Abs. 2 lit. b IVV in der seit 1. Januar 2015 geltenden, hier anwendbaren Fassung kann bei einer Meldepflichtverletzung oder einer unrechtmässigen Erwirkung der Rente die Leistung rückwirkend auf den Zeitpunkt der erheblichen Änderung angepasst werden, ohne dass die Meldepflichtverletzung oder die unrechtmässige Erwirkung kausal für die Weiterausrichtung der Rente gewesen sein muss. Jede wesentliche Änderung in den für eine Leistung massgebenden Verhältnissen ist von den Bezügerinnen und Bezügern, ihren Angehörigen oder Dritten, denen die Leistung zukommt, dem Versicherungsträger oder dem jeweils zuständigen Durchführungsorgan zu melden (Art. 31 Abs. 1 ATSG; Art. 77 IVV). Für den Tatbestand der Meldepflichtverletzung ist ein schuldhaftes Fehlverhalten erforderlich, wobei nach ständiger Rechtsprechung bereits eine leichte Fahrlässigkeit genügt (nicht publ. E. 4.2.1 des Urteils BGE 137 V 369, veröffentlicht in SVR 2012 IV Nr. 12 S. 61; Urteil 8C_594/2019 vom 28. Mai 2020 E. 2.3.2). Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage nach Massgabe von Art. 105 Abs. 1 BGG von der Vorinstanz für das Bundesgericht verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage (BGE 122 V 221 E. 3 S. 223; SVR 2017 AHV Nr. 3 S. 5, 9C_413/2016 E. 3.1; Urteil 8C_711/2019 vom 2. April 2020 E. 3.2).
13.2. Die Vorinstanz stellte fest, der Beschwerdeführer habe im Rahmen der im November 2016 abgeschlossenen Observation ein Verhalten gezeigt, aus dem sich keine massgebliche Einschränkung seiner Arbeits- und Leistungsfähigkeit aus psychischer Sicht mehr ergebe. Der psychiatrische SMAB-Gutachter habe denn auch eine deutliche Verbesserung des Gesundheitszustandes seit diesem Zeitpunkt festgestellt. Es sei von einer Meldepflichtverletzung des Beschwerdeführers auszugehen. Dieser erhebt keine stichhaltigen Einwände, welche diese vorinstanzlichen Tatsachenfeststellungen und Schlussfolgerungen als bundesrechtswidrig erscheinen liessen. Denn bei pflichtgemässer Aufmerksamkeit hätte ihm im Lichte seiner aufgrund der Observation nachgewiesenen Alltagsaktivitäten die Verbesserung seines Gesundheitszustandes bewusst sein müssen. Damit hat er die ihm obliegende Meldepflicht zumindest fahrlässig verletzt, was zur rückwirkenden Renteneinstellung berechtigt (vgl. auch Urteile 8C_579/2018 vom 9. Januar 2019 E. 5.3 und 8C_601/2016 vom 29. November 2016 E. 6.3).
14.
14.1. Die IV-Stelle nahm erstmals in der vorinstanzlichen Vernehmlassung vom 9. September 2019 einen Einkommensvergleich vor, der einen Invaliditätsgrad von 25 % ergab. Die Vorinstanz bestätigte dies, da der Versicherte dagegen keine Einwände erhoben habe.
14.2. Der Versicherte rügt, die IV-Stelle habe seine formellen Gehörsansprüche verletzt. Es gehe nicht an, dass er sich zum Invaliditätsgrad erst vor Gericht hätte äussern können, dieses ihn dazu aber nicht aufgefordert habe. Denn die vorinstanzliche Vernehmlassung der IV-Stelle sei ihm nur zur Orientierung zugestellt worden, weshalb eine explizite Stellungnahme nicht angezeigt gewesen sei.
Diese Einwände sind nicht stichhaltig. Der angefochtene Entscheid erging am 14. April 2020. Damit aber hätte der Beschwerdeführer in zeitlicher Hinsicht auf die Vernehmlassung vom 9. September 2019 reagieren können und dies auch tun müssen, wenn er sie insbesondere bezüglich des Einkommensvergleichs als unrichtig erachtete (vgl. auch E. 7 hiervor; Urteil 5P.109/1999 vom 1. Juli 1999 E. 2). Er wartete denn auch am 8. Dezember 2019 und am 14. Januar 2020 von sich aus mit weiteren Eingaben auf, ohne aber den Einkommensvergleich der IV-Stelle zu bemängeln.
Nach dem Gesagten hat es beim rentenausschliessenden Invaliditätsgrad von 25 % (vgl. Art. 28 Abs. 2 IVG) sein Bewenden, zumal der Versicherte auch letztinstanzlich keine materiellen Rügen gegen den Einkommensvergleich vorbringt. Somit ist die vorinstanzliche Rentenaufhebung ab 1. November 2016 rechtens.
15.
Da von weiteren Abklärungen keine entscheidrelevanten Ergebnisse zu erwarten waren, durfte die Vorinstanz darauf verzichten (antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 S. 236; Urteil 8C_54/2020 vom 26. Mai 2020 E. 11.5).
16.
Der unterliegende Versicherte trägt die Gerichtskosten (Art. 66 Abs. 1 BGG). Die unentgeltliche Rechtspflege kann ihm gewährt werden (Art. 64 BGG). Er hat der Bundesgerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. 64 Abs. 4 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen. Rechtsanwalt Reto Bachmann wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Kantonsgericht Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Jancar