Sachverhalt:
A. Der 1964 geborene A._ arbeitete seit 3. April 1990 bis 20. April 2000 als Maurer bei der Bauunternehmung X._ AG. Am 6. Oktober 2000 meldete er sich wegen Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 8. Februar 2002 wies die IV-Stelle Glarus, ausgehend von einem Invaliditätsgrad von 26 %, das Rentenbegehren ab. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit unangefochten in Rechtskraft erwachsenem Entscheid vom 15. Oktober 2002 ab, wobei es einen Invaliditätsgrad von 21,1 % ermittelte.
Im November 2002 und 2003 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Mit Verfügung vom 28. Juni 2005 verneinte diese einen Rentenanspruch (Invaliditätsgrad 24,5 %). Die dagegen erhobene Einsprache wies sie gestützt auf einen Invaliditätsgrad von 21 % ab (Entscheid vom 11. August 2005). In teilweiser Gutheissung der hiegegen eingereichten Beschwerde hob das kantonale Gericht den Einspracheentscheid auf und wies die Sache zur Sachverhaltsergänzung und neuer Entscheidung im Sinne der Erwägungen an die IV-Stelle zurück. Diese wurde angewiesen, ein Gutachten des Psychiaters Dr. med. P._ einzuholen (Entscheid vom 26. September 2006). Zur Abklärung der Verhältnisse zog die IV-Stelle diverse vom Versicherten aufgelegte Arztberichte bei und holte ein Gutachten des Psychiaters Dr. med. P._ vom 20. März 2003 ein. Dieser diagnostizierte eine somatoforme Schmerzstörung (ICD-10: F45.4) mit massiver Aggravation. Mit Verfügung vom 3. Juli 2007 verneinte die IV-Stelle einen Rentenanspruch bei einem Invaliditätsgrad von 25,2 %.
B. Die hiegegen eingereichte Beschwerde - womit der Versicherte neu Berichte der Klinik Y._ vom 23. November 2007 auflegte - wies das kantonale Gericht mit Entscheid vom 20. August 2008 ab.
C. Mit Beschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen. Er reicht einen neuen Arztbericht ein.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 130 III 136 E. 1.4 S. 140).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen (nicht publ. E. 1.2 und 2.2 des Urteils BGE 133 V 640, veröffentlicht in SVR 2008 AlV Nr. 12 S. 35). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (Art. 107 Abs. 1 BGG).
2. Der Versicherte reicht neu einen Bericht des Dr. med. G._, FMH für Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, vom 6. Februar 2007 ein. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Demnach sind die Parteien grundsätzlich gehalten, alle rechtsrelevanten Tatsachen und Beweismittel bereits bei den Vorinstanzen zu nennen. Gründe zur Abweichung von dieser Regel werden nicht geltend gemacht und sind nicht erkennbar. Der Versicherte legt nicht dar, dass ihm die Beibringung des Berichts bei der Vorinstanz, die den Schriftenwechsel erst am 25. Oktober 2007 geschlossen hatte, prozessual unmöglich und objektiv unzumutbar war (vgl. Urteil 8C_812/2007 vom 6. Oktober 2008, E. 4 mit Hinweis).
3. 3.1 Die streitige Verfügung datiert vom 3. Juli 2007, weshalb die am 1. Januar 2008 in Kraft getretenen Änderungen des IVG vom 6. Oktober 2006 und der IVV vom 28. September 2007 (5. IV-Revision) nicht anwendbar sind (BGE 129 V 354 E. 1 S. 356).
3.2 Die Vorinstanz hat die Rechtsprechung zum invalidisierenden Charakter psychischer Gesundheitsschäden (BGE 130 V 352, 127 V 294) zutreffend dargelegt. Darauf wird verwiesen.
3.3 Tritt die Verwaltung auf eine Neuanmeldung (Art. 87 Abs. 4 IVV) ein, so hat sie die Sache materiell abzuklären und sich zu vergewissern, ob die vom Versicherten glaubhaft gemachte Veränderung des Invaliditätsgrades auch tatsächlich eingetreten ist. Nach der Rechtsprechung hat sie in analoger Weise wie bei einem Revisionsfall (Art. 17 ATSG) vorzugehen. Stellt sie fest, dass der Invaliditätsgrad seit Erlass der früheren rechtskräftigen Verfügung (zur massgebenden zeitlichen Vergleichsbasis vgl. BGE 133 V 108) keine Veränderung erfahren hat, so weist sie das neue Gesuch ab. Andernfalls hat sie zunächst noch zu prüfen, ob die festgestellte Veränderung genügt, um nunmehr eine anspruchsbegründende Invalidität zu bejahen, und hernach zu beschliessen. Im Beschwerdefall obliegt die gleiche materielle Prüfungspflicht auch dem Gericht (BGE 130 V 64 E. 2 S. 66, 117 V 198 E. 3a). Zur Revision darf geschritten werden, wenn die für den Rentenanspruch erheblichen tatsächlichen Verhältnisse gesundheitlicher und/oder erwerblicher Natur wesentlich geändert haben (BGE 130 V 343 E. 3.5 S. 349; SVR 2004 IV Nr. 5 S. 13 E. 2, I 574/02; Urteil 8C_223/2007 vom 2. November 2007, E. 2.2).
3.4 Die aufgrund medizinischer Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit bzw. deren Veränderung in einem revisionsrechtlich relevanten Sinne ist Entscheidung über eine Tatfrage. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Die Beachtung des Untersuchungsgrundsatzes sowie der Beweiswürdigungsregeln nach Art. 43 Abs. 1 und Art. 61 lit. c ATSG ist Rechtsfrage. Die konkrete Beweiswürdigung wie auch die antizipierte Beweiswürdigung (als Teil derselben) betreffen eine Tatfrage (Urteil 8C_456/2007 vom 9. September 2008, E. 3, erwähntes Urteil 8C_223/2007, E. 3, je mit Hinweisen).
4. Verwaltung und Vorinstanz haben in Würdigung der medizinischen Aktenlage (zum Beweiswert von Arztberichten vgl. BGE 134 V 231 E. 5.1 S. 232 mit Hinweisen) zutreffend festgestellt, dass der Beschwerdeführer keinen Anspruch auf eine Invalidenrente hat. Sämtliche Vorbringen des Versicherten, die sich in erster Linie in rein appellatorischer Kritik des vorinstanzlichen Entscheides erschöpfen, vermögen an diesem Ergebnis nichts zu ändern. Er erhebt keine Rügen, welche die Sachverhaltsfeststellung der Vorinstanz betreffend seinen Gesundheitszustand und seine Arbeitsfähigkeit als offensichtlich unrichtig oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhend erscheinen lassen (vgl. E. 1 hievor). Der durchgeführte Einkommensvergleich (hiezu vgl. BGE 132 V 393 E. 3.3. S. 399) wird vom Versicherten nicht in Frage gestellt und ist nicht zu beanstanden. Bei der gegebenen Aktenlage kann in antizipierter Beweiswürdigung (dazu BGE 131 I 153 E. 3 S. 157, 124 V 90 E. 4b S. 94) auf weitere Beweismassnahmen verzichtet werden.
5. Die offensichtlich unbegründete Beschwerde wird im Verfahren nach Art. 109 Abs. 2 lit. a BGG erledigt. Die Gerichtskosten sind dem unterliegenden Versicherten aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Oktober 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Jancar