Sachverhalt:
A. Der 1950 geborene P._ war seit 1981 als Maurer bei der Firma X._ tätig. Am 12. Dezember 1995 meldete er sich bei der Invalidenversicherung (IV) wegen Rückenbeschwerden zum Leistungsbezug an. Die gegen die rentenablehnende Verfügung der IV-Stelle des Kantons Zürich vom 16. Oktober 1996 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten in Rechtskraft erwachsenem Entscheid vom 2. Juli 1998 ab. Seit 1. September 1998 arbeitete der Versicherte als Maurer bei der Firma S._. Am 29. Mai 2006 verletzte er sich am rechten Knie. Das Kantonsspital W._, wo er am 31. Juli 2006 operiert wurde, diagnostizierte eine medial betonte Gonarthrose rechts. Am 20. Dezember 2006 meldete er sich bei der IV zum Leistungsbezug an. Die IV-Stelle zog diverse Arztberichte und die SUVA-Akten bei. Mit Verfügung vom 12. März 2008 verneinte sie den Rentenanspruch.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid ab; die Akten würden nach Eintritt der Rechtskraft an die IV-Stelle zur Abklärung der Verhältnisse ab April 2008 überwiesen (Entscheid vom 29. Oktober 2009).
C. Mit Beschwerde beantragt der Versicherte, es sei festzustellen, dass er ununterbrochen seit Juni 2006 bis heute zu 100 % arbeits- und erwerbsunfähig sei; demgemäss sei ihm ab 1. Juni 2007 eine ganze Invalidenrente zuzusprechen.
Die IV-Stelle schliesst auf Beschwerdeabweisung. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (nicht publ. E. 1.1 des Urteils <ref-ruling>, in SVR 2010 UV Nr. 2 S. 7 [8C_784/2008]). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen.
Der aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitszustand und die damit einhergehende Arbeits(un)fähigkeit betreffen eine Tatfrage. Die Beurteilung der Zumutbarkeit von Arbeitsleistungen nach allgemeiner Lebenserfahrung ist Rechtsfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsverletzungen sind die unvollständige Feststellung rechtserheblicher Tatsachen, die Verletzung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und die Missachtung der Anforderungen an den Beweiswert von Arztberichten (<ref-ruling> E. 5.1 S. 232). Die konkrete Beweiswürdigung betrifft Tatfragen (nicht publ. E. 1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 52 S. 161 [8C_763/2008]; nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]).
2. Der Versicherte ist italienischer Staatsbürger. Ungeachtet des am 1. Juni 2002 in Kraft getretenen Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft sowie der Europäischen Gemeinschaft und ihren Mitgliedstaaten über die Freizügigkeit (FZA) richtet sich sein Anspruch auf eine Invalidenrente der eidgenössischen IV allein nach schweizerischem Recht (<ref-ruling> E. 2.4 S. 257, 128 V 315; Urteil 8C_1030/2009 vom 2. März 2010 E. 2.2).
3. Der Versicherte legt letztinstanzlich neu diverse Taggeldabrechnungen der SUVA auf. Hiezu ist festzuhalten, dass neue Tatsachen und Beweismittel nur so weit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was in der Beschwerde näher darzulegen ist (<ref-law>). Da weitere Abklärungen ohnehin notwendig sind, kann offenbleiben, ob die Einreichung dieser Akten zulässig ist (vgl. auch Urteil 8C_276/2009 vom 2. November 2009 E. 3).
4. Die Vorinstanz hat erwogen, die Normen der am 1. Januar 2008 in Kraft getretenen Änderungen des ATSG und des IVG vom 6. Oktober 2006 sowie der IVV vom 28. September 2007 (5. IV-Revision) seien nicht anwendbar, da sich der massgebende Sachverhalt vor Ende 2007 verwirklicht habe. Dem kann nicht beigepflichtet werden. Denn streitig und zu prüfen ist, ob der Versicherte ab Juni 2007 bis zum massgebenden Zeitpunkt der Verfügung vom 12. März 2008 Anspruch auf eine Invalidenrente hat. Demnach sind für die Zeit bis 31. Dezember 2007 die damals geltenden Bestimmungen und ab 1. Januar 2008 die neuen Normen der 5. IV-Revision anzuwenden (<ref-ruling> E. 3.1.1 S. 220, 130 V 445; vgl. auch Urteil 8C_362/2009 vom 14. Dezember 2009 E. 2).
Richtig dargelegt hat die Vorinstanz die im Rahmen der 5. IV-Revision unverändert gebliebenen Grundlagen über die Erwerbsunfähigkeit (bis 31. Dezember 2007 <ref-law>, seit 1. Januar 2008 <ref-law>; zu <ref-law> vgl. <ref-ruling>), die Invalidität (<ref-law>; <ref-law>), die Invaliditätsbemessung von erwerbstätigen Versicherten nach dem Einkommensvergleich (<ref-law>; bis 31. Dezember 2007 <ref-law>, seit 1. Januar 2008 <ref-law>; <ref-ruling> E. 3.4 S. 348), die Voraussetzungen und den Umfang des Rentenanspruchs (bis 31. Dezember 2007 <ref-law>, seit 1. Januar 2008 <ref-law>; vgl. auch Urteil 8C_362/2009 E. 3.1). Gleiches gilt über die bei der Neuanmeldung analog zur Rentenrevision anwendbaren Grundsätze (<ref-law>; Art. 87 Abs. 3 und 4 IVV; <ref-ruling>, 130 V 343 E. 3.5 S. 349), die Ermittlung des ohne Invalidität erzielbaren Einkommens (Valideneinkommen; <ref-ruling> E. 4.1 S. 325 f.) und des trotz Gesundheitsschädigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) nach den vom Bundesamt für Statistik in der Lohnstrukturerhebung (LSE) ermittelten Tabellenlöhnen (<ref-ruling> E. 5.2 f. S. 327 f.) sowie den Beweiswert ärztlicher Berichte (<ref-ruling> f. E. 5.1). Darauf wird verwiesen.
5. 5.1 Der Versicherte war vom 15. Februar bis 19. April 2007 in der Rehaklinik Y._ hospitalisiert. Dr. med. G._, FMH Chirurgie Schwerpunkt Allg.- und Unfallchirurgie, diagnostizierte im orthopädischen Konsilium vom 21. März 2007 eine Traumatisierung einer vorbestehenden medial betonten Gonarthrose; dem Versicherten werde nach Behandlungsabschluss eine wechselbelastend vorwiegend sitzende leichte Tätigkeit zumutbar sein. Die Dres. med. N._, Physikalische Medizin und Rehabilitation FMH, sowie B._, Assistenzarzt, stellten im Austrittsbericht vom 8. Mai 2007 folgende Diagnosen: A. Unfall vom 29. Mai 2006: Sturz auf nasser Fläche mit Kniedistorsion rechts und Traumatisierung einer medial betonten Gonarthrose (nach Kniedistorsion 1984, medialen Teilmeniskektomien 1985 und 1989 sowie Pilcarevision 1992); A1: Persistierende Kniebeschwerden rechts bei Gelenkachsenproblematik und Gonarthrose (31. Juli 2006 Implantation einer medialen monokondylären Knietotalprothese rechts). B. Lumbovertebralsyndrom (unfallfremd). Als Hilfsmauer sei der Versicherte nicht mehr arbeitsfähig. Eine mittelschwere Arbeit sei ihm hingegen ganztags zumutbar. Hiefür gälten folgende Einschränkungen: wechselbelastend (Rücken, Knie), kein länger dauerndes Knien/Kauern, kein oft wiederholtes Treppen- oder Leiternsteigen sowie Gehen auf unebenem Grund (Knie), keine Tätigkeiten mit länger dauernd vorgeneigtem und/oder verdrehtem Oberkörper (Rücken). Der Versicherte benötige bei Austritt während ein bis zwei Stunden pro Tag noch zwei Unterarmstöcke (Gehen längerer Strecken). Zusätzlich müsse er gelegentlich noch eine Knieorthese tragen. Durch ein weitergeführtes Aufbautraining sowie allenfalls auch durch Infiltrationsbehandlungen werde wahrscheinlich noch eine weitere leichte Belastbarkeitssteigerung erreicht werden können. Eine Rückkehr in die bisherige Tätigkeit sei jedoch ausgeschlossen. Mittel- bis längerfristig würden weitere operative Massnahmen erforderlich sein. Zuvor sollten aber die konservativen Massnahmen ausgeschöpft werden. Ob die Knieoperation sachgemäss erfolgt sei, könne nur im Rahmen einer gutachterlichen Stellungnahme beurteilt werden.
5.2 Dr. med. H._, Oberarzt, Orthopädie, Uniklinik A._, diagnostizierte aufgrund einer Untersuchung des Versicherten vom 30. August 2007 im Bericht vom 31. August 2007 persistierende Knieschmerzen; Status nach unikompartimenteller Knietotalprothese rechts am 21. Juli 2006. Die Jointline sei etwas destabilisiert, es liege aber auch eine Patella baja vor. Es sei möglich, dass es aufgrund der Patella baja zu einem Konflikt mit der femoralen Komponente komme. Anderseits könnte aber auch die Distalisierung der Jointline für die Schmerzen verantwortlich sein. Dies sei nicht klar zu eruieren, da oft Patienten mit distalisierter Jointline beschwerdefrei seien. Sie empfahlen die Beurteilung des lateralen Kompartiments und wollten objektivieren, ob ein potenzieller femoropatellarer Konflikt vorliege, der sich in einer Reizung der Patella zeigen würde. Gleichzeitig sollte eine intraartikuläre Infiltration mit Lokalanästhesie durchgeführt werden, um den intraartikulär gelegenen Schmerz weiter objektivieren zu können.
5.3 Dr. med. I._, Fachärztin für Chirurgie, Regionalärztlicher Dienst (RAD) der IV, gab in der Aktenbeurteilung vom 13. Dezember 2007 an, es könne auf den Bericht der Rehaklinik Y._ abgestellt werden: 100%ige Arbeitsfähigkeit in angepasster Tätigkeit ab 20. April 2007.
5.4 PD Dr. med. O._, Facharzt FMH für Orthopädische Chirurgie und Traumatologie des Bewegungsapparats, legte im vorinstanzlich eingereichten Bericht vom 25. April 2008 dar, der Versicherte weise einen hohen Leidensdruck wegen Schmerzen im rechten Kniegelenk nach unikompartimenteller Knieprothese medial auf. Klinisch könnten die Beschwerden auf alle drei Kompartimente zurückgeführt werden. Die Untersuchung zeige, dass das femoropatelläre und das laterale Kniegelenk-Kompartiment schmerzhaft seien aufgrund der radiologisch nachweisbaren Degeneration. Im medialen Kompartiment bestehe der Verdacht auf eine mangelhafte Befestigung des Hemi-Tibiaplateaus. Um dies mit Sicherheit nachweisen zu können, müsste noch eine Szintigraphie durchgeführt werden. Da sich aber wegen der Degeneration der Restkompartimente eine Knietotalprothese aufdränge, wäre die Szintigraphie ohnehin von zweitrangiger Bedeutung. Die von der Klinik Z._ angedeutete Jointline-Problematik sei für den jetzigen Zustand nicht verantwortlich. Zusammenfassend beinhalte einzig ein Wechsel der unikompartimentellen auf eine totale Knieprothese die Möglichkeit, die Situation zu verbessern. Die Arbeitsunfähigkeit betrage weiter 100 %.
5.5 Dr. med. L._ (E. 5.2 hievor) diagnostizierte im vorinstanzlich eingereichten Bericht vom 4. September 2008 eine Degeneration des lateralen und femoropatellaren Kompartimentes bei Status nach Implantation einer Knieprothese Allegretto vom 21. Juli 2006. PD Dr. med. O._ habe diese Beurteilung vom 28. Februar 2008 geteilt. Aktuell bestünden eine stark eingeschränkte Gehstrecke, max. 400-800 m, Schmerzen nach 10 Minuten. Es bestehe 100%ige Arbeitsunfähigkeit. Als Ultima ratio sei heute die Entfernung der Hemiprothese und nachfolgende Implantation einer Knietotalendoprothese gegebenenfalls auch Patellaersatz besprochen worden. Der Versicherte wolle sich einem solchen Eingriff unterziehen.
5.6 PD Dr. med. M._, Stv. Leiter Knie-Chirurgie, Orthopädie, Uniklinik A._, führte im vorinstanzlich aufgelegten Bericht vom 4. September 2008 aus, es sei richtigzustellen, dass es sich nicht um eine Knietotalprothese rechts, sondern um eine Teilprothese gehandelt habe. In der Folge der Protheseimplantation sei das Tibiaplateau (Unterschenkel) etwas eingesunken. Das Plateau habe in der anteroposterioren Richtung die maximal mögliche Grösse gehabt und sei somit an sich maximal abgestützt gewesen. Dennoch habe offenbar die Knochenqualität beim Versicherten nicht gereicht, worauf es zur obgenannten Absintierung gekommen sei. Diese Komplikation sei im Rahmen von Knie-Teilprothesen absolut bekannt und es sei absolut damit zu rechnen. Es könne somit nicht von einem offensichtlichen chirurgischen Fehler ausgegangen werden. Die am 27. August 2008 geplante Knieoperation, die mittels Totalprothese die Teilprothese ersetze, sei durchgeführt worden und problemlos verlaufen. Es habe festgestellt werden können, dass sowohl Tibiaplateau wie Femurkomponente nicht locker gewesen seien, was zusätzlich gegen eine Fehler des Erstoperateurs spreche.
6. 6.1 Die Vorinstanz stellte auf den Bericht der Rehaklinik Y._ vom 8. Mai 2007 ab, wonach beim Versicherten in leidensangepasster Tätigkeit 100%ige Arbeitsfähigkeit bestehe (vgl. E. 5.1 hievor). Da das Verwaltungsverfahren mit Verfügung vom 12. März 2008 abgeschlossen worden sei, sei die Knieoperation vom August 2008 mit den allfälligen gesundheitlichen Folgen nicht massgebend. Immerhin seien die Akten an die IV-Stelle zu überweisen, damit sie die möglicherweise geänderten Verhältnisse seit April 2008 prüfe und gegebenenfalls neu verfüge.
6.2 Dieser vorinstanzlichen Auffassung kann - wie der Versicherte zu Recht vorbringt - nicht gefolgt werden. Zum einen ist die Einschätzung der Rehaklinik Y._ insofern widersprüchlich, als Dr. med. G._ im orthopädischen Konsilium vom 21. März 2007 angab, dem Versicherten werde nach Behandlungsabschluss eine wechselbelastende vorwiegend sitzende leichte Tätigkeit zumutbar sein. Demgegenüber wurde im Austrittbericht vom 8. Mai 2007 von ganztägiger Arbeitsfähigkeit für mittelschwere wechselbelastende Arbeit ausgegangen, wobei in angepasstem Umfang auch Knien/Kauern, Treppen- oder Leiternsteigen und Gehen auf unebenem Grund als zumutbar erachtet wurde. Zur abweichenden Auffassung des Dr. med. G._ wurde im Austrittsbericht nicht Stellung genommen, sondern kommentarlos darauf verwiesen. Der Austrittsbericht überzeugt auch insofern nicht, als darin trotz der beschriebenen ganztägigen Arbeitsfähigkeit für mittelschwere Arbeit gleichzeitig ausgeführt wurde, der Versicherte benötige bei Austritt während ein bis zwei Stunden pro Tag noch zwei Unterarmstöcke (Gehen längerer Strecken) und müsse zusätzlich gelegentlich noch eine Knieorthese tragen (vgl. E. 5.1 hievor).
Weiter ist zu beachten, dass die Untersuchungen in der Rehaklinik Y._ am 19. April 2007 abgeschlossen wurden und damit in Bezug auf den massgebenden Zeitpunkt des Verfügungserlasses am 12. März 2008 nicht aktuell waren. Denn aufgrund der Akten - insbesondere der Berichte des PD Dr. med. O._ vom 25. April 2008 sowie des PD Dr. med. M._ und des Dr. med. L._ vom 4. September 2008 (E. 5.2 und 5.4-5.6 hievor) - kann entgegen der Vorinstanz nicht ohne Weiteres angenommen werden, eine allfällige Verschlechterung der Knieproblematik sei erst im April 2008 eingetreten. Vielmehr fand gemäss den vor- und letztinstanzlichen Angaben des Versicherten die im Bericht der Uniklinik A._ vom 31. August 2007 angekündigte Knie-Infiltration (E. 5.2 hievor) statt, worauf mangels Erfolgs am 5. Dezember 2007 eine Kniearthroskopie rechts erfolgt sei. Vorinstanzlich verlangte der Versicherte den Beizug der entsprechenden SUVA-Akten, was die Vorinstanz nicht tat. Zudem führte Dr. med. H._ von der Uniklinik A._ im Bericht vom 4. September 2008 (E. 5.5 hievor) aus, PD Dr. med. O._ (E. 5.4 hievor) habe die Beurteilung vom 28. Februar 2008 geteilt. Auch diese vor der streitigen Verfügung ergangene Beurteilung der Uniklinik A._ befindet sich nicht bei den Akten.
Im Lichte dieser unklaren und widersprüchlichen Aktenlage hat die IV-Stelle den Untersuchungsgrundsatz verletzt, indem sie sich hinsichtlich der Arbeits(un)fähigkeit des Versicherten abschliessend auf den Bericht der Rehaklinik Y._ vom 8. Mai 2007 berufen hat. Dieses Vorgehen stellt eine Rechtsverletzung dar (E. 1 hievor; Urteil 8C_362/2009 vom 14. Dezember 2009 E. 6.3). In diesem Lichte kann auch der blossen Aktenbeurteilung der RAD-Ärztin Dr. med. I._ vom 13. Dezember 2007, wonach dem Bericht der Rehaklinik Y._ zu folgen sei, nicht beigepflichtet werden (vgl. E. 5.3 hievor; zum Beweiswert von Aktenberichten siehe RKUV 1993 Nr. U 167 S. 95 E. 5d und Urteil 8C_833/2009 vom 26. Januar 2010 E. 5.1). Auf die Berichte des PD Dr. med. O._ vom 25. April 2008 sowie des PD Dr. med. M._ und des Dr. med. L._ vom 4. September 2008 (siehe E. 5.2 und 5.4-5.6 hievor) kann - entgegen der Auffassung des Versicherten - unter den gegebenen Umständen ebenfalls nicht abgestellt werden, zumal sie sich zu seiner vor Erlass der Verfügung vom 12. März 2008 bestehenden Arbeits(un)fähigkeit in leidensangepasster Tätigkeit nicht rechtsgenüglich äusserten.
Nach dem Gesagten ist die Sache an die IV-Stelle zurückzuweisen, damit sie eine medizinische Begutachtung - vorzugsweise in der hierfür spezialisierten Abklärungsstelle der IV (MEDAS) - anordne und danach über den Leistungsanspruch ab 1. Juni 2007 neu verfüge (zum Verhältnis zwischen Eingliederungsmassnahmen und Invalidenrente vgl. Art. 7, Art. 8 Abs. 1 und <ref-law>; <ref-ruling>; nicht publ. E. 4a und 5a des Urteils <ref-ruling>, in AHI 2007 S. 36; SVR 2010 IV Nr. 9 S. 27 E. 2.2 f. [9C_141/2009]; Urteil 9C_720/2007 vom 28. April 2008 E. 4.1, zitiert in SZS 2009 S. 147).
7. Erwerblicherseits (<ref-ruling> E. 3.3 S. 399) ist das vorinstanzlich ermittelte Valideneinkommen unbestritten, womit es sein Bewenden hat. Über das Invalideneinkommen und die Höhe eines allfälligen leidensbedingten Abzugs kann erst nach rechtsgenüglicher Ermittlung der Arbeits(un)fähigkeit befunden werden (Urteile 8C_673/2009 vom 22. März 2010 E. 7.2 und 8C_1030/2009 E. 6.2).
8. Die Rückweisung der Sache an die IV-Stelle zu neuem Entscheid mit noch offenem Ausgang gilt für die Auferlegung der Gerichtskosten und der Parteientschädigung als volles Obsiegen des Versicherten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG; <ref-ruling> E. 6.1 S. 235; Urteil 8C_673/2009 vom 22. März 2010 E. 9).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Oktober 2009 und die Verfügung der IV-Stelle des Kantons Zürich vom 12. März 2008 aufgehoben werden und die Sache an die IV-Stelle zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch ab 1. Juni 2007 neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle auferlegt.
3. Die IV-Stelle hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. April 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Jancar