Sachverhalt:
A. Der 1958 geborene G._ arbeitete vom 26. April 1999 bis 14. Dezember 2006 bei der Firma R._ AG, Bauunternehmung, als Maurer. Am 14. September 2007 meldete er sich bei der Invalidenversicherung an. Am 8. November 2007 erlitt er mit dem Auto einen Auffahrunfall, in dessen Folge ein Distorsionstrauma der Halswirbelsäule diagnostiziert wurde. Die IV-Stelle des Kantons Zürich holte diverse Arztberichte und ein Gutachten des Instituts Y._ vom 8. Mai 2008 ein. Mit Verfügung vom 11. November 2009 sprach sie dem Versicherten ab 1. Dezember 2007 bis 30. April 2008 eine ganze Invalidenrente (Invaliditätsgrad 100 %) zu.
B. Hiegegen reichte der Versicherte beim Sozialversicherungsgericht des Kantons Zürich Beschwerde ein. Am 31. März 2010 fand eine Referentenaudienz statt, in welcher der Versicherte auf eine mögliche reformatio in peius aufmerksam gemacht und ihm Frist zur Stellungnahme bzw. zum Beschwerderückzug eingeräumt wurde. Am 12. Mai 2010 hielt er an der Beschwerde fest. Das kantonale Gericht wies die Beschwerde ab, hob die IV-Verfügung auf und verneinte einen Rentenanspruch (Entscheid vom 23. September 2010).
C. Mit Beschwerde beantragt der Versicherte die Aufhebung des kantonalen Entscheides und die Zusprechung einer ganzen Invalidenrente ab 1. Dezember 2007; eventuell sei die Sache für weitere medizinische Abklärungen zurückzuweisen.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen (nicht publ. E. 1 des Urteils <ref-ruling>, aber in SVR 2009 IV Nr. 52 S. 161 [8C_763/2008]).
Die gestützt auf medizinische Akten gerichtlich festgestellte Arbeitsfähigkeit ist Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die konkrete und die antizipierte Beweiswürdigung sind Tatfragen (nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 9C_1019/2010 vom 30. März 2011 E. 1.2 f.).
2. Die streitige Verfügung datiert vom 11. November 2009. Die Vorinstanz hat richtig erkannt, dass für die Zeit bis Ende 2007 die damals geltenden Bestimmungen und ab 1. Januar 2008 die neuen Normen der 5. IV-Revision anzuwenden sind (<ref-ruling> E. 3.1.1 S. 220, 130 V 445). Dies ist jedoch ohne Belang, weil diese Revision bezüglich der Invaliditätsbemessung keine substanziellen Änderungen gebracht hat, sodass die zur altrechtlichen Regelung ergangene Praxis weiter gilt (Urteil 8C_944/2010 vom 21. März 2011 E. 3). Weiter hat die Vorinstanz die Grundlagen über die Invaliditätsbemessung nach dem Einkommensvergleich (Art. 16 ATSG; <ref-ruling> E. 4.1 S. 325 und E. 5 S. 327), den Rentenanspruch (Art. 28 IVG) und die Rentenrevision (Art. 17 Abs. 1 ATSG; <ref-ruling> E. 3. S. 132) richtig dargelegt. Gleiches gilt betreffend den invalidisierenden Charakter psychischer Gesundheitsschäden (<ref-ruling>, 130 V 352) und den Beweiswert von Arztberichten (E. 1 hievor). Darauf wird verwiesen.
3. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; <ref-ruling>; SVR 2010 UV Nr. 17 S. 63 E. 4 [8C_239/2008]). Solche Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheids liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass für die Zulässigkeit unechter Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (nicht publ. E. 2.3 des Urteils <ref-ruling>, in SVR 2009 BVG Nr. 30 S. 109 [9C_920/2008]).
Der Versicherte legt neu einen Unfallschein der Helsana mit Eintragungen diverser Ärzte zur Arbeitsunfähigkeit ab 21. Juni 2007 (für die Zeit bis 31. Mai 2007 liegt dieser Unfallschein bei den Vorakten), ein Arbeitsunfähigkeits-Zeugnis der Klinik A._ vom 19. Juli 2007 und Angaben zu seiner Arbeitsunfähigkeit des Dr. med. Z._, Allgemeine Medizin FMH, für die Zeit vom 12. September bis 31. Oktober 2007 auf. Er macht jedoch keine nach Art. 99 Abs. 1 BGG relevanten Gründe geltend, weshalb diese neuen Akten unbeachtlich sind.
4. 4.1 Das Institut Y._ stellte im interdisziplinären (internistischen, orthopädischen und psychiatrischen) Gutachten vom 8. Mai 2008 folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit: chronisches lumbovertebrales Schmerzsyndrom ohne radikuläre Symptomatik (ICD-10 M54.5; intermittierende pseudoradikuläre Ausstrahlungen rechts, beginnende degenerative Veränderungen der unteren Lendenwirbelsäule, klinisch und MR-tomographisch ohne Neurokompression, ICD-10 M47.86/M51.2). Ohne Einfluss auf die Arbeitsfähigkeit seien eine Schmerzverarbeitungsstörung und Symptomausweitung (ICD-10 F54), ein inkomplettes metabolisches Syndrom (Adipositas mit BMI 32,8 kg/m2 [ICD-10 E66.0], leichte Hepatopathie [ICD-10 K76.9], Dyslipidämie [ICD-10 E78.2], erhöhter HbA1c-Wert aktuell, Verdacht auf Diabetes mellitus [ICD-10 E11.9]) und eine Medikamenten-Malcompliance (ICD-10 Z91.1). In der angestammten Tätigkeit bestehe beim Versicherten bleibend eine volle Arbeitsunfähigkeit seit Dezember 2006. Eine körperliche angepasste Tätigkeit, wie sie nachfolgend näher beschrieben werde, wäre ihm allerdings bereits kurze Zeit später zumutbar gewesen. Aus orthopädischer Sicht bestehe für körperlich leichte bis mittelschwere Tätigkeiten in wechselnder Position, wo eine Hebe- und Tragelimite von 15 kg nur ausnahmsweise überschritten werde und keine längeren Zwangshaltungen des Rumpfes vorkämen, eine zeitlich und leistungsmässig uneingeschränkte Arbeitsfähigkeit. Aus psychiatrischer und internistischer sei die Arbeitsfähigkeit nicht eingeschränkt.
4.2 Die Vorinstanz stellte auf dieses Gutachten des Instituts Y._ ab und erwog im Wesentlichen, es sei davon auszugehen, das der Versicherte bereits kurz nach Dezember 2006 in einer leidensangepassten Tätigkeit voll arbeitsfähig gewesen sei. Damit erweise sich die Annahme der IV-Stelle, er sei vom 1. Dezember 2007 bis 30. April 2008 voll arbeitsunfähig gewesen, als nicht richtig. Bei dieser Aktenlage erübrige es sich, die Voraussetzungen der Rentenrevision zu prüfen, da sich der Gesundheitszustand im Vergleich zur ursprünglichen Rentenzusprache nicht geändert habe. Die Vorinstanz errechnete einen Invaliditätsgrad von 23 % und verneinte folglich den Rentenanspruch.
5. 5.1 Der Versicherte erhebt keine Rügen, welche die vorinstanzlichen Feststellungen zur Arbeitsfähigkeit als offensichtlich unrichtig oder als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach Art. 95 BGG erscheinen lassen. Insbesondere kann nicht von einer ungenügenden Sachverhaltsabklärung die Rede sein, weil die dafür u.a. notwendigen Voraussetzungen - unauflösbare Widersprüche tatsächlicher Art oder Beantwortung einer entscheidwesentlichen Tatfrage, wie namentlich bezüglich Gesundheitszustand und Arbeitsfähigkeit, auf unvollständiger Beweisgrundlage (Urteil 9C_932/2008 vom 9. April 2009 E. 3.1) - nicht vorliegen. Festzuhalten ist insbesondere Folgendes:
5.2 Der Versicherte macht geltend, den Gutachtern des Instituts Y._ hätten nicht alle medizinischen Akten und Arbeitsunfähigkeitbescheinigungen zur Verfügung gestanden, weshalb ihr Gutachten mitnichten umfassend und in Kenntnis aller Vorakten erstellt worden sei. Es lägen widersprüchliche Beurteilungen der Arbeitsunfähigkeit vor.
5.2.1 Er legt dar, der psychiatrische Teilgutachter des Instituts Y._ Dr. med. A._ habe den Bericht des Dr. med. Z._ vom 27. Juni 2007 übersehen. Dieser habe hierin dargelegt, er habe den Versicherten durch Dr. med. W._ psychiatrisch beurteilen lassen, der folgende Diagnosen gestellt habe: anhaltende somatoforme Schmerzstörung (ICD-10 F45.4), akute Belastungsreaktion (ICD-10 F43.0), emotional impulsives Verhalten (ICD-10 F60.30).
Im Gutachten des Instituts Y._ wurde dieser Bericht des Dr. med. Z._ mit den darin angeführten psychiatrischen Diagnosen bei der Aktenauflistung wiedergegeben. Dennoch führte der Gutachter des Instituts Y._ Dr. med. A._ aus, bislang lägen keine früheren psychiatrischen Beurteilungen vor. Hieraus kann der Versicherte jedoch nichts zu seinen Gunsten ableiten. Unbehelflich ist sein blosses Vorbringen, die Diagnosen der Dres. med. W._ und A._ deckten sich nicht; massgebend ist nämlich nicht die gestellte Diagnose, sondern die Arbeitsfähigkeit (<ref-ruling> E. 4c S.298), die im Rahmen der Begutachtung des Instituts Y._ hinreichend abgeklärt wurde (vgl. auch E. 5.4 hienach). Hievon abgesehen legt der Versicherte auch nicht dar, Dr. med. W._ habe entgegen dem Gutachten des Instituts Y._ eine psychisch bedingte Arbeitsunfähigkeit attestiert.
5.2.2 Der Beschwerdeführer bringt weiter vor, in der Aktenauflistung des Gutachtens des Instituts Y._ fehle das gesamte SUVA-Dossier betreffend seinen Auffahrunfall vom 8. November 2007. Zudem hätten dem Institut Y._ die von der IV-Stelle bei der Helsana als Krankentaggeldversicherer im Jahre 2007 und der CSS (ab Januar 2008) eingeholten medizinischen Berichte und Arbeitsunfähigkeitsbescheinigungen nicht zur Verfügung gestanden. Die Gutachter des Instituts Y._ hätten daraus ersehen, dass seit Dezember 2006 durchwegs eine vollständige Arbeitsunfähigkeit bescheinigt worden sei, und hätten sich damit auseinandersetzen müssen.
Auch diese Einwände sind unbehelflich. Denn der Versicherte legt nicht dar und es ist auch nicht ersichtlich, welche konkreten ärztlichen Berichte bzw. Bescheinigungen die von der Vorinstanz gestützt auf das Gutachten des Instituts Y._ getroffenen tatsächlichen Feststellungen zu seiner Arbeitsfähigkeit in einer leidensangepassten Tätigkeit als offensichtlich unrichtig erscheinen lassen. Soweit er sich auf den Unfallschein mit Eintragungen zur Arbeitsunfähigkeit vom 19. Januar bis 31. Mai 2007 beruft (vgl. E. 3 hievor), bezieht sich dieser auf seine angestammte Arbeit als Maurer und enthält keine Angaben zu anderen Tätigkeiten.
Zudem erging das Gutachten des Instituts Y._ in Kenntnis des Berichts der Klinik B._ vom 10. März 2008 (ambulantes Assessment vom 28. Februar 2008) betreffend die Folgen des Unfalls des Versicherten vom 8. November 2007; in diesem Bericht wurde ausgeführt, es sei unrealistisch, über seine Rückkehr an den angestammten Arbeitsplatz als Maurer nachzudenken; zu seiner Arbeitsfähigkeit in einer leidensangepassten Tätigkeit nahm die Klinik B._ nicht Stellung, weshalb der Beschwerdeführer daraus nichts zu seinen Gunsten ableiten kann. Zudem wird das Ergebnis des Gutachtens des Instituts Y._ gestützt durch den Austrittsbericht der Klinik B._ vom 3. November 2008, wo der Versicherte vom 2. bis 30. Oktober 2008 hospitalisiert war; in diesem Bericht wurde dargelegt, unter zusätzlicher Berücksichtigung des unfallfremden Vorzustandes am Achsenskelett erachteten sie für den Versicherten eine mittelschwere, wechselbelastende Arbeit ganztags als zumutbar ohne Tätigkeiten in länger dauernd vorgeneigter Rumpfposition.
5.3 Bezüglich seiner Arbeitsfähigkeit ab Mai 2008 beruft sich der Beschwerdeführer zusätzlich auf den Bericht des ihn seit November 2008 behandelnden Psychiaters Dr. med. H._ vom 7. März 2009. Dieser diagnostizierte einen Verdacht auf somatoforme Schmerzstörung (ICD-10 F45.4) bzw. Somatisierungsstörung sowie eine leichte depressive Episode (ICD-10 F32.0). Aufgrund des Gesamtbildes könne im Moment eine leichtgradige depressive Verstimmung diagnostiziert werden. Differentialdiagnostisch komme auch Aggravation oder Simulation in Frage. Er erachte den Versicherten im Moment in einer angepassten Tätigkeit als zu 50 % arbeitsfähig. Dies sei nur eine Schätzung im ambulanten Rahmen; eine schlüssige Beurteilung könne nur halbstationär oder stationär erfolgen. Am 9. Dezember 2009 bestätigte Dr. med. H._, eine objektive Diagnosefeststellung und Beurteilung der Arbeitsfähigkeit sei nur im Rahmen eines stationären Aufenthalts in einer polydisziplinären Klinik möglich.
Aus diesen Berichten des Dr. med. H._ kann der Versicherte nichts zu seinen Gunsten ableiten. Die Vorinstanz hat richtig erkannt, dass die alleinige Verdachtsdiagnose einer somatoformen Schmerzstörung bzw. Somatisierungsstörung zur Anerkennung eines dauerhaften invalidisierenden Gesundheitsschadens nicht ausreicht (vgl. auch Urteil 9C_855/2009 vom 3. März 2010 E. 2.4). Gleiches gilt für die leichte depressive Episode (Urteil 8C_808/2009 vom 4. Januar 2011 E. 4.3). Es ist in diesem Lichte nicht ersichtlich, inwiefern seit der Begutachtung des Instituts Y._ vom 5. Mai 2008 eine Verschlechterung des psychischen Gesundheitszustandes des Versicherten eingetreten sein soll. Zu beachten ist denn auch, dass der regionale ärztliche Dienst der IV-Stelle in der Stellungnahme vom 19. März 2009 zum Bericht des Dr. med. H._ vom 7. März 2009 ausführte, es liege zur bereits im Gutachten des Instituts Y._ beurteilten psychischen Situation nur eine zum Teil etwas andere Beurteilung vor, die keine Arbeitsunfähigkeit begründe. Unbehelflich ist in diesem Lichte das Vorbringen des Versicherten, hinsichtlich der somatoformen Schmerzstörung sei vertieft anhand der Förster-Kriterien zu prüfen, in welchem Ausmass ihm eine Arbeit zumutbarerweise noch möglich sei.
5.4 Nicht stichhaltig ist der Einwand des Versicherten, die Schlussfolgerungen des Gutachtens des Instituts Y._ seien das Ergebnis nur einer eintägigen Untersuchung, wobei für die psychiatrische Begutachtung nur ein Drittel der Zeit verblieben sei; derartige Untersuchungen könnten seriös nur im Rahmen eines stationären Aufenthalts in einer psychiatrischen Klinik erfolgen. Grundsätzlich ist nicht die Dauer der Untersuchung massgebend, sofern der zeitliche Aufwand der Fragestellung und der zu beurteilenden Pathologie angemessen ist (Urteil 9C_811/2010 vom 16. Februar 2011 E. 4.2.1). Für die Annahme, die Begutachtung des Instituts Y._ sei diesbezüglich unzureichend, liegen keine Anhaltspunkte vor. Aus den beiden Berichten des Dr. med. H._ geht nicht nachvollziehbar hervor, weshalb eine schlüssige Beurteilung des psychischen Zustandes des Versicherten nur im Rahmen einer stationären Abklärung möglich sein soll.
5.5 Nach dem Gesagten ist es im Rahmen der eingeschränkten Kognition nicht zu beanstanden, wenn die Vorinstanz gestützt auf die Expertise des Instituts Y._ vom 8. Mai 2008 davon ausging, der Versicherte sei (zumindest) ab 1. Dezember 2007 - Zeitpunkt der Rentenzusprache durch die IV-Stelle und des von ihm beantragten Rentenbeginns - bis zum Verfügungserlass am 11. November 2009 in einer leidensangepassten Tätigkeit voll arbeitsfähig gewesen. Die Vorinstanz hat zu Recht darauf verwiesen, dass diese Einschätzung durch die Berichte der Klinik A._ vom 31. Juli 2007, worin festgehalten wurde, mittelfristig lasse sich aus rheumatologischer Sicht für eine wechselbelastende leichte bis mittelschwere Tätigkeit keine Einschränkung der Arbeitsfähigkeit begründen, und des Dr. med. Z._ vom 10. Oktober 2007, wonach ab 20. Juli 2007 eine 100%ige Arbeitsfähigkeit in leidensangepasster Tätigkeit bestand, bestätigt wird. Auch im Austrittsbericht der Klinik B._ vom 3. November 2008 wurde von ganztätiger Arbeitsfähigkeit in behinderungsangepasster Tätigkeit ausgegangen (E. 5.2.2 hievor). Von weiteren medizinischen Abklärungen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 148).
6. Den vorinstanzlichen Einkommensvergleich, der zu einem Invaliditätsgrad von 23 % bzw. zur Verneinung des Rentenanspruchs führte, stellt der Versicherte in masslicher Hinsicht nicht in Frage, weshalb es damit sein Bewenden hat (Urteil 8C_607/2010 vom 10. Februar 2011 E. 8).
7. Soweit die Vorinstanz die dem Versicherten von der IV-Stelle für die Zeit ab 1. Dezember 2007 bis 30. April 2008 zugesprochene ganze Rente im Sinne einer reformatio in peius aufhob, ist Folgendes festzuhalten.
7.1 Von der Möglichkeit einer reformatio in peius ist zurückhaltend Gebrauch zu machen; sie ist auf Fälle zu beschränken, wo der angefochtene Entscheid offensichtlich unrichtig und die Korrektur von erheblicher Bedeutung ist (nicht publ. E. 5.6 des Urteils <ref-ruling>, in SVR 2008 AHV Nr. 8 S. 23 [H 161/06]; <ref-ruling> E. 5 S. 249 f.).
7.2 Im Lichte des in E. 4-6 hievor Gesagten war die Rentenzusprache der IV-Stelle offensichtlich unrichtig. Hieran nichts zu ändern vermag der Einwand des Versicherten, verschiedene behandelnde Ärzte hätten gegenüber den vorgelagerten Krankentaggeld-Versicherern ab Dezember 2006 bis Ende 2008 eine durchgehende vollständige Arbeitsunfähigkeit bescheinigt, wogegen die für 11⁄2 Jahre retrospektive Beurteilung seiner Arbeitsfähigkeit durch das Institut Y._ nur aufgrund einer einmaligen Untersuchung à priori fragwürdig gewesen sei.
Der Betrag von Fr. 19'135.- (5 Monatsrenten), den die reformatio in peius betrifft, ist von erheblicher Bedeutung (vgl. <ref-ruling> E. 1c S. 480; ARV 2000 Nr. 40 S. 208 E. 3b; Urteil 8C_623/2008 vom 11. Februar 2009 E. 3.1 und 3.4). Hieran ändert entgegen dem Vorbringen des Versicherten nichts, dass davon verrechnungsweise Fr. 683.- an die ehemalige Arbeitgeberin und Fr. 15'308.- an die CSS-Versicherung geflossen und er somit nur Fr. 3'144.- erhalten habe. Massgeblich ist die Höhe der Versicherungsleistung.
7.3 Unerheblich ist schliesslich das Argument des Beschwerdeführers, für ihn sei es nicht nachvollziehbar, dass der Krankentaggeldversicherer eine vollständige Arbeits- und Erwerbsunfähigkeit von Dezember 2006 bis Ende 2008 anerkannt habe, während dies mit dem angefochtenen Entscheid bestritten werde. Denn die Anordnungen des Krankentaggeldversicherers haben für das IV-Verfahren keine Bindungswirkung. Irrelevant ist auch das Vorbringen des Versicherten, wenn effektiv seit Dezember 2006 eine gänzliche Arbeitsfähigkeit in einer leidensangepassten Tätigkeit bestanden hätte, wären die IV sowie der Krankentaggeldversicherer (und allenfalls auch die ALV und das Sozialamt) verpflichtet gewesen, ihm bei der Suche nach einer geeigneten Stelle zu helfen und ihm während dieser Zeit Taggelder und Unterstützungsleistungen auszurichten. Soweit sich der Versicherte damit sinngemäss auf Vertrauensschutz beruft, substanziiert er die Voraussetzungen für dessen Bejahung nicht (vgl. Art. 9 BV; nicht publ. E. 5.2 des Urteils <ref-ruling>, in SVR 2010 UV Nr. 2 S. 7 [8C_784/2008]), weshalb darauf nicht weiter einzugehen ist.
8. Der unterliegende Beschwerdeführer trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Schweizerischen Baumeisterverbandes und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Jancar