Sachverhalt:
A.
A.a. Der 1965 geborene A._ erlitt am 24. Januar 2002 einen Auffahrunfall. Am 28. August 2003 meldete er sich bei der IV-Stelle Glarus zum Leistungsbezug an. Diese holte ein Gutachten des Ärztlichen Begutachtungsinstituts (ABI) GmbH vom 8. Juni 2006 ein. Mit Verfügungen vom 20. Dezember 2006 sprach sie dem Versicherten ab 1. Januar 2003 eine Viertelsrente (Invaliditätsgrad 42 %) sowie ab 1. April 2003 eine ganze Invalidenrente und ab 1. Januar 2004 eine Dreiviertelsrente (Invaliditätsgrad beidenfalls 68 %) zu.
A.b. Die AXA Winterthur übernahm als Unfallversicherer die Invaliditätsbemessung der IV-Stelle und sprach dem Versicherten mit Verfügung vom 23. Januar 2007 eine Rente zu. Am 20. Dezember 2006 erlitt dieser einen weiteren Autounfall. Die AXA Winterthur holte ein Gutachten des Zentrums B._ vom 6. Juli 2009 ein. Am 9. Februar 2010 verfügte sie bezüglich des Unfalls vom 20. Dezember 2006 die Leistungseinstellung per 28. Februar 2007, woran sie mit Einspracheentscheid vom 29. November 2010 festhielt. Die vom Versicherten eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Glarus teilweise gut; es hob den Einspracheentscheid und die Verfügung auf und wies die Sache im Sinne der Erwägungen an die AXA Winterthur zurück. Diese holte ein ABI-Gutachten vom 26. September 2012 ein.
A.c. Gestützt auf das letztgenannte ABI-Gutachten hob die IV-Stelle die Invalidenrente nach Zustellung der Verfügung auf Ende des folgenden Monats auf (Verfügung vom 1. Mai 2013).
B.
Die gegen die letztgenannte Verfügung der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 18. Dezember 2013 ab.
C.
Mit Beschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Auf die Beschwerde ist einzutreten, da sich aus ihrer Begründung ergibt, dass der Versicherte die Weiterausrichtung der Invalidenrente verlangt (<ref-law>; <ref-ruling> E. 1 S. 99, 134 III 379 E. 1.3 S. 383; Urteil 8C_23/2014 vom 26. März 2014 E. 1).
Soweit die IV-Stelle in ihrer Vernehmlassung zwecks Vermeidung von Wiederholungen auf ihre vorinstanzliche Beschwerdeantwort verweist, ist darauf nicht näher einzugehen (<ref-ruling>; SVR 2010 UV Nr. 9 S. 35 E. 6 [8C_286/2009]).
2.
2.1. Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren beanstandeten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> in Verbindung mit <ref-law>). Rechtsfragen sind die vollständige Feststellung erheblicher Tatsachen sowie die Beachtung des Untersuchungsgrundsatzes bzw. der Beweiswürdigungsregeln nach <ref-law> und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die aufgrund dieser Berichte gerichtlich festgestellte Gesundheitslage bzw. Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Sachverhaltsfragen (<ref-ruling> E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils <ref-ruling>, veröffentlicht in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]).
2.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (<ref-ruling> E. 2.1 S. 9). Diese Grundsätze gelten auch bei der konkreten Beweiswürdigung, bei welcher dem kantonalen Versicherungsgericht ein erheblicher Ermessensspielraum zusteht. Das Bundesgericht greift nur ein, wenn es diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder solche willkürlich ausser Acht gelassen hat (<ref-ruling> E. 2.1 S. 211; zum Begriff der Willkür <ref-ruling> E. 2.4 S. 5; Urteil 9C_1019/2012 vom 23. August 2013 E. 1.2.3). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 1.3 S. 261; SVR 2013 BVG Nr. 40 S. 174 E. 1.2 [9C_592/2012]; Urteil 8C_96/2014 vom 23. Mai 2014 E. 1.2).
3.
Die Vorinstanz hat die Grundlagen über die Erwerbsunfähigkeit (<ref-law>), die Invalidität (<ref-law>), den Einkommensvergleich (<ref-law>), den Rentenanspruch (<ref-law>), die Rentenrevision (<ref-law>; <ref-law> ; <ref-ruling> E. 3 S. 132; SVR 2012 IV Nr. 18 S. 81 E. 4.1 [9C_418/2010]), den Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 6 S. 221) und den Beweiswert von ärztlichen Unterlagen (<ref-ruling> E. 1.3.4 S. 227, 135 V 465, 134 V 231 E. 5.1 S. 232, 125 V 351) richtig dargelegt. Darauf wird verwiesen.
4.
Streitig und zu prüfen ist, ob seit der Verfügung der IV-Stelle vom 20. Dezember 2006 mit Zusprechung einer Dreiviertelsrente ab 1. Ja-nuar 2004 bis zur streitigen Rentenaufhebungsverfügung vom 1. Mai 2013 (<ref-ruling> E. 3.1.1 S. 320) beim Versicherten eine erhebliche Verbesserung des Gesundheitszustandes eintrat, die eine Rentenrevision rechtfertigt.
4.1. Grundlage der Verfügung vom 20. Dezember 2006 war das interdisziplinäre (internistische, psychiatrische und neurologische) ABI-Gutachten vom 8. Juni 2006, worin folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit gestellt wurden: Status nach Heckauffahrkollision am 24. Januar 2002 mit kraniozervikalem Beschleunigungstrauma mit Halswirbelsäule (HWS) -Distorsion (ICD-10 S13.4); traumatische mediolaterale und intraforaminale Diskushernie C5/6 links mit radikulärer Reiz- und diskreter Ausfallsymptomatik C6 links (ICD-10 M50.1); mögliche kognitive Defizite im Rahmen der Schmerzsymptomatik. In der angestammten Tätigkeit sei der Versicherte zu 75 % arbeitsunfähig. In körperlich leichten und vor allem bezüglich Nacken und Schultergürtel gut adaptierten Tätigkeiten sei er zu 50 % arbeitsfähig. Anzunehmen sei, dass nach möglichen erfolgreichen medizinischen Massnahmen eine deutlich höhere Arbeitsfähigkeit in adaptierten Tätigkeiten möglich sei.
4.2. Die Verfügung vom 1. Mai 2013 stützte sich auf das inter-disziplinäre (allgemeininternistische, psychiatrische, neurologische und rheumatologische) ABI-Gutachten vom 26. September 2012. Hierin wurden folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit gestellt: 1. Chronisches zervikozephales und zervikospondylogenes Schmerzsyndrom links (ICD-10 M53.0); Status nach Auffahrunfall 01/02 und 12/06 mit HWS-Distorsion (ICD-10 S13.4); subjektive Beschwerden mit Schwindel, visuellen Störungen und Konzentrationsstörungen; 2. Residuelles radikuläres Reiz- und leichtes sensibles Ausfallsyndrom C6 links (ICD-10 G55.2); mediolinkslaterale Diskushernie C5/6 (MRI 09/07); radiologisch beginnende Osteochondrose C5/6 und C6/7. Die frühere Tätigkeit als Maschinist im Gartenbau und andere körperlich schwere und vorwiegend mittelschwere Tätigkeiten seien dem Versicherten nicht mehr zumutbar. Für eine körperlich leichte bis intermittierend mittelschwere, wechselbelastende Tätigkeit ohne Zwangshaltung der HWS und andauernde Überkopfarbeiten sei er zu 80 % arbeits- und leistungsfähig, verwertbar in einem ganztägigen Pensum mit vermindertem Rendement. Aufgrund der anamnestischen Angaben, ihrer Untersuchungsbefunde, der vorliegenden Dokumente sowie der früher attestierten Arbeitsunfähigkeit gingen sie davon aus, dass sich die medizinischen Befunde und die Arbeitsfähigkeit seit ihrer letzten Begutachtung im Jahre 2006 verbessert hätten. Es könnten weder medizinische noch berufliche Massnahmen für eine Verbesserung der Arbeitsfähigkeit bzw. Wiedereingliederung in den Erwerbsprozess vorgeschlagen werden.
5.
Die Vorinstanz hat in Würdigung der medizinischen Akten mit einlässlicher Begründung - auf die verwiesen wird - erwogen, zusammenfassend sei es nachvollziehbar, dass die ABI-Arztpersonen im Gutachten vom 26. September 2012 und Dr. med. C._, FMH Neurologie, beratender Arzt der AXA Winterthur, in der Stellungnahme vom 10. April 2013 zum Schluss gekommen seien, die radikuläre Symptomatik des Versicherten, die für die Rentenzusprechung ausschlaggebend gewesen sei, sei nur noch von untergeordneter Bedeutung. Auch sei hinsichtlich der völlig normalen HWS-Beweglichkeit in unbeobachteten Momenten eine rheumatologische Verbesserung des Gesundheitszustandes seit der Verfügung vom 20. Dezember 2006 nachvollziehbar dargelegt. Das ABI-Gutachten vom 26. September 2012 erfülle die Anforderungen an eine rechtsgenügliche medizinische Beurteilungsgrundlage, weshalb darauf abgestellt werden könne. Dies bestätige auch Dr. med. D._, Facharzt FMH für Rheumatologie Physikalische Medizin und Rehabilitation, Regionaler Ärztlicher Dienst (RAD) der IV-Stelle, in der Stellungnahme vom 13. Februar 2013. Insgesamt erscheine es schlüssig, dass der Versicherte in einer angepassten Tätigkeit aufgrund der Verbesserung seines Gesundheitszustandes als zu 80 % arbeitsfähig erachtet werde.
6.
6.1. Der Versicherte legt einen Bericht des Dr. med. F._, Allgemeine Medizin FMH, vom 14. April 2008 auf, der in den Vorakten nicht enthalten ist. Er macht hiefür aber keine nach <ref-law> relevanten Gründe (hierzu vgl. nicht publ. E. 1.3 des Urteils <ref-ruling>, in SVR 2012 FZ Nr. 3 S. 7 [8C_690/2011]) geltend. Hievon abgesehen könnte er aus diesem Bericht nichts zu seinen Gunsten ableiten, da er im Wesentlichen die Bitte an einen Arzt enthält, den Zustand des Versicherten zu beurteilen.
6.2. Weiter legt der Versicherte ein Gutachten des Dr. med. G._, FMH Physikalische Medizin und Rehabilitation, FMH Rheumatologie, Sportmedizin SGSM, Chefarzt, Klinik H._, vom 27. September 2007 sowie Berichte des Prof. Dr. med. I._, Chefarzt, Neurochirurgie, Spital L._, vom 12. Februar 2008 und 5. Juni 2008 auf. Er macht im Wesentlichen geltend, gemäss diesen Unterlagen seien wegen der HWS-Problematik C5/6 stationäre medizinische Massnahmen bzw. eine Operation als notwendig erachtet worden. Dies widerlege den Schluss, dass bei ihm seit dem Jahr 2006 eine Verbesserung des Gesundheitszustandes eingetreten sei. Die Vorinstanz habe diese Berichte nicht berücksichtigt und damit den Sachverhalt offensichtlich unrichtig festgestellt.
Vom 27-seitigen Gutachten des Dr. med. G._ legte der Versicherte im Verwaltungsverfahren und im kantonalen Verfahren nur 3 Seiten auf. Die Berichte des Prof. Dr. med. I._ vom 12. Februar 2008 und 5. Juni 2008 reicht er überhaupt erstmals ein. Alle diese Akten wurden aber im ABI-Gutachten vom 26. September 2012 erwähnt; ob deren Einreichung im Lichte von <ref-law> zulässig ist, kann offen bleiben. Denn das Bundesgericht kann die entsprechenden Aktenstücke selber würdigen und beurteilen, ob die vorinstanzliche Sachverhaltsfeststellung zu korrigieren ist (<ref-law>; oben E. 1; Urteil 8C_492/2013 vom 10. Februar 2014 E. 5.4). Dies ist zu verneinen, wie die folgenden Erwägungen zeigen.
7.
7.1. Der Versicherte bringt vor, im ABI-Gutachten vom 8. Juni 2006 sei festgehalten worden, dass eine neue Beurteilung bzw. Verbesserung erst nach Durchführung von medizinischen Massnahmen bzw. Operationen möglich sei. Entgegen der Vorinstanz seien seither aber keine medizinischen Massnahmen, insbesondere auch keine Infiltrationen durchgeführt worden. Aus dem von ihr ins Feld geführten Schreiben des Dr. med. F._ vom 11. Juli 2008 gehe nicht hervor, dass Infiltrationen vorgenommen worden seien. Vielmehr habe dieser in Betracht gezogen, ihn zu diesem Zweck ins Spital L._ einzuweisen; dort sei jedoch eine offensichtliche Operationsindikation erkannt worden, weshalb von medizinischen Massnahmen bzw. Infiltrationen abgesehen worden sei. Damit habe die Vorinstanz den Sachverhalt offensichtlich unrichtig festgestellt.
7.2. Hierzu ist festzuhalten, dass weder im ABI-Gutachten vom 26. September 2012 noch in den Stellungnahmen des Dr. med. C._ vom 10. April 2013 sowie des Dr. med. D._ vom 5. November 2012 und 13. Februar 2013 (vgl. E. 5 hievor) davon ausgegangen wurde, beim Versicherten seien Infiltrationen durchgeführt worden bzw. solche hätten zur Verbesserung des Gesundheitszustandes beigetragen. Vielmehr wurde im Rahmen der rheumatologischen ABI-Untersuchung vom 9. Juli 2012 darauf hingewiesen, der Versicherte sei konservativ behandelt worden. In diesem Lichte ist die vorinstanzliche Feststellung, gemäss dem Bericht des Dr. med. F._ vom 11. Juli 2008 seien Infiltrationen durchgeführt worden, für den Verfahrensausgang nicht entscheidend (vgl. E. 2.1 hievor).
7.3. Unrichtig ist die Behauptung des Versicherten, seit 8. Juni 2006 seien keine medizinischen Massnahmen durchgeführt worden. Denn aufgrund seiner Angaben im Rahmen der ABI-Begutachtung vom 26. September 2012 macht er immer wieder Physiotherapie. Aufgrund der Akten wurde er zudem vom 22. Oktober bis 13. November 2007 in der Klinik H._ und vom 18. September bis 16. Oktober 2008 in der Klinik M._ behandelt.
7.4. Die Klinik M._ führte im Austrittsbericht vom 10. No-vember 2008 aus, aus neurologischer Sicht sei es fraglich, ob eine Operation die Beschwerden des Versicherten lindern würde, da die radikulären Beschwerden von sehr untergeordneter Bedeutung seien; im Vordergrund stehe ein myofasziales Schmerzsyndrom im Nackenbereich, das nicht durch die Diskushernie erklärbar sei.
Das ABI zog im Rahmen der Begutachtung vom 26. September 2012 Röntgenaufnahmen der HWS auf zwei Ebenen vom 9. Juli 2012 bei und führte eine neurografische Untersuchung durch. Radiologisch wurden beginnende degenerative Osteochondrosen C5/6 und C6/7 festgestellt. Das ABI führte weiter aus, es liege eine Zunahme der degenerativen Veränderungen gegenüber den Voraufnahmen vom 17. September 2009 vor, die eine mediolinkslaterale Diskushernie C5/6 gezeigt hätten. Die radiologisch nachgewiesenen degenerativen Veränderungen könnten jedoch die vom Versicherten subjektiv angegebenen Beschwerden nicht erklären.
Im Lichte dieser Abklärungen ist es nicht zu beanstanden, dass die Vorinstanz auf das ABI-Gutachten vom 26. September 2012 abstellte, worin medizinische Massnahmen für eine Verbesserung der Arbeitsfähigkeit nicht vorgeschlagen werden konnten bzw. eine Operationsindikation im Zervikalbereich verneint wurde. Dieser Auffassung pflichtete auch der RAD-Arzt Dr. med. D._ in den Stellungnahmen vom 5. November 2012 und 13. Februar 2013 bei (zur Aufgabe des RAD, die Leistungsfähigkeit der versicherten Person zu beurteilen vgl. Art. 59 Abs. 2 und 2bis IVG; <ref-law>).
8.
8.1. Weiter wendet der Versicherte ein, die Vorinstanz habe gestützt auf einen Bericht des Dr. med. F._ vom 8. Oktober 2001 angenommen, er habe eine pathologisch vorbedingte Diskushernie (im Bereich C5/6) aufgewiesen, welche durch die Unfälle vom 24. Januar 2002 und 20. Dezember 2006 vorübergehend verschlimmert worden sei. Diese Annahme stütze sich auf von Dritten erstellte Arztberichte, ohne dass die Vorinstanz den Bericht des Dr. med. F._ oder die entsprechenden Arztberichte konsultiert hätte. Die Tatsache, dass bei ihm keine vorbestehende Diskushernie vorgelegen habe, sei massgeblich für die Beurteilung (der allfälligen Verbesserung) des Gesundheitszustandes sowie der angezeigten medizinischen Massnahmen. Wäre die Vorinstanz vom richtigen Sachverhalt ausgegangen, hätte sie festgestellt, dass sich sein Gesundheitszustand nicht verbessert habe.
8.2. Dem Versicherten ist beizupflichten, dass die Vorinstanz bezüglich der Frage nach dem Vorbestehen der Diskushernie C5/6 lediglich aus dem Gutachten des Zentrums B._ vom 6. Juli 2009 zitierte, worin wiederum auf weitere Arztberichte verwiesen wurde; dieses Gutachten erachtete die Vorinstanz im Rückweisungsentscheid vom 16. November 2011 als nicht hinreichend. Es kann indessen offen bleiben, ob die Diskushernie C5/6 als vorbestehend oder als unfallkausal zu taxieren ist. Denn im ABI-Gutachten vom 26. September 2012 wurden der Gesundheitszustand bzw. die Arbeitsfähigkeit des Versicherten unter Berücksichtigung dieser Diskushernie beurteilt (vgl. E. 7.4 hievor).
9.
Im Weiteren beanstandet der Versicherte die im Rahmen des ABI-Gutachtens vom 26. September 2012 durchgeführten Elektromyo-grafie (EMG) -Messungen. Er macht im Wesentlichen geltend, die Untersuchungen in den Jahren 2003 bis 2007 hätten zu unterschiedlichen Resultaten geführt. Deshalb hätte die erneute EMG-Untersuchung unter bzw. nach einer Belastung und bei veränderter oder sich verändernder Körperhaltung durchgeführt werden müssen; erst dadurch wäre sie objektiv aussagekräftig gewesen. Dies bestätige auch der Befund des Dr. med. J._ vom 15. Januar 2013, der bei seiner erneuten EMG-Untersuchung (unter Belastung und Einnahme von arbeitsüblichen Körperhaltungen) erhebliche K._ ausgelöst habe, was bedeute, dass sich sein Gesundheitszustand objektiv betrachtet nicht verbessert habe und er nicht arbeitsfähig sei.
Hierzu ist festzuhalten, dass die Vorinstanz gestützt auf die Stellungnahmen des Dr. med. C._ vom 10. April 2013 (vgl. E. 5 hievor) und des Dr. med. N._, Facharzt für Innere Medizin und Rheumatologie FMH, beratender Arzt der AXA Winterthur, vom 8. März 2013 festgestellt hat, weshalb das ABI-Gutachten vom 26. September 2012 hinsichtlich der EMG-Untersuchung auch mit Blick auf den Bericht des Dr. med. J._ vom 15. Januar 2013 überzeugt. Diese Auffassung vertrat auch der RAD-Arzt Dr. med. D._ in der Stellungnahme vom 13. Februar 2013. Gegen diese ärztlichen Stellungnahmen bringt der Versicherte keine Einwände vor, weshalb der vorinstanzliche Entscheid im Lichte der sachverhaltsmässig eingeschränkten Kognition auch diesbezüglich nicht zu beanstanden ist.
10.
Der Vorinstanz ist beizupflichten, dass von weiteren medizinischen Abklärungen keine neuen entscheidrelevanten Ergebnisse mehr zu erwarten sind, weshalb darauf zu verzichten ist; dies verstösst weder gegen den Untersuchungsgrundsatz noch gegen den Gehörsanspruch (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 236; Urteil 8C_468/2013 vom 24. Februar 2014 E. 5.3.2). Insgesamt zeigt der Versicherte nicht auf und ist auch nicht ersichtlich, inwiefern die vorinstanzliche Sachverhaltsfeststellung und Beweiswürdigung im Lichte der in E. 2.2 hievor dargelegten Grundsätze mangelhaft seien oder eine Bundesrechtsverletzung vorliege.
11.
Der Einkommensvergleich, der zu einem rentenausschliessenden Invaliditätsgrad von 37 % führte (vgl. <ref-law>), ist unbestritten, weshalb es damit sein Bewenden hat.
12.
Die Verfahrenskosten sind dem unterliegenden Versicherten aufzuerlegen (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Jancar