Sachverhalt: A. A.a. Der 1965 geborene A._ erlitt am 24. Januar 2002 einen Auffahrunfall. Am 28. August 2003 meldete er sich bei der IV-Stelle Glarus zum Leistungsbezug an. Diese holte ein Gutachten des Ärztlichen Begutachtungsinstituts (ABI) GmbH vom 8. Juni 2006 ein. Mit Verfügungen vom 20. Dezember 2006 sprach sie dem Versicherten ab 1. Januar 2003 eine Viertelsrente (Invaliditätsgrad 42 %) sowie ab 1. April 2003 eine ganze Invalidenrente und ab 1. Januar 2004 eine Dreiviertelsrente (Invaliditätsgrad beidenfalls 68 %) zu. A.b. Die AXA Winterthur übernahm als Unfallversicherer die Invaliditätsbemessung der IV-Stelle und sprach dem Versicherten mit Verfügung vom 23. Januar 2007 eine Rente zu. Am 20. Dezember 2006 erlitt dieser einen weiteren Autounfall. Die AXA Winterthur holte ein Gutachten des Zentrums B._ vom 6. Juli 2009 ein. Am 9. Februar 2010 verfügte sie bezüglich des Unfalls vom 20. Dezember 2006 die Leistungseinstellung per 28. Februar 2007, woran sie mit Einspracheentscheid vom 29. November 2010 festhielt. Die vom Versicherten eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Glarus teilweise gut; es hob den Einspracheentscheid und die Verfügung auf und wies die Sache im Sinne der Erwägungen an die AXA Winterthur zurück. Diese holte ein ABI-Gutachten vom 26. September 2012 ein. A.c. Gestützt auf das letztgenannte ABI-Gutachten hob die IV-Stelle die Invalidenrente nach Zustellung der Verfügung auf Ende des folgenden Monats auf (Verfügung vom 1. Mai 2013). B. Die gegen die letztgenannte Verfügung der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 18. Dezember 2013 ab. C. Mit Beschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.