Sachverhalt:
A. Der 1952 geborene A._ arbeitete seit 1973 als Maurer. Am 14. Juni 2004 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit unangefochten in Rechtskraft erwachsenen Verfügungen vom 27. und 30. August 2004 verneinte die IV-Stelle des Kantons Zürich nach Vornahme medizinischer Abklärungen den Anspruch auf berufliche Massnahmen und Invalidenrente. Nach einer Neuanmeldung des Versicherten vom 16. Januar 2006 und erneuten medizinischen Untersuchungen wies sie das Rentengesuch mit unangefochten in Rechtskraft erwachsener Verfügung vom 16. März 2007 ab. Am 22. Juli 2008 meldete er sich wiederum zum Leistungsbezug an. Die IV-Stelle zog verschiedene Arztberichte und ein Gutachten des Dr. med. K._, FMH Psychiatrie und Psychotherapie, vom 16. April 2009 und Ergänzung vom 27. Juli 2009 bei. Mit Verfügung vom 3. September 2009 verneinte sie den Rentenanspruch erneut.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. April 2011 ab.
C. Mit Beschwerde beantragt der Versicherte, in Aufhebung des kantonalen Entscheides sei ihm eine ganze Invalidenrente auszurichten. Er verlangt die Gewährung der unentgeltlichen Rechtspflege.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG; nicht publ. E. 1 des Urteils BGE 135 V 306, in SVR 2009 IV Nr. 52 S. 161 [8C_763/2008]).
Die gestützt auf medizinische Akten gerichtlich festgestellte Arbeitsfähigkeit ist Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232). Die konkrete Beweiswürdigung ist Tatfrage (nicht publ. E. 4.1 des Urteils BGE 135 V 254, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_304/2011 vom 6. Juli 2011 E. 1).
2. Die Vorinstanz hat die Grundlagen über die Erwerbsunfähigkeit (Art. 7 ATSG; BGE 135 V 215), die Invalidität (Art. 8 Abs. 1 ATSG; Art. 4 Abs. 1 IVG), die Invaliditätsbemessung von erwerbstätigen Versicherten nach dem Einkommensvergleich (Art. 16 ATSG; Art. 28a Abs. 1 IVG), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 2 IVG) richtig dargelegt. Gleiches gilt über die bei der Neuanmeldung analog zur Rentenrevision anwendbaren Grundsätze (Art. 17 Abs. 1 ATSG; Art. 87 Abs. 3 und 4 IVV; BGE 133 V 108, 130 V 343 E. 3.5 S. 349), die Aufgabe des Arztes bei der Invaliditätsbemessung (BGE 132 V 93 E. 4 S. 99) und den Beweiswert ärztlicher Berichte bzw. Gutachten (BGE 134 V 231 f. E. 5.1). Darauf wird verwiesen.
3. 3.1 Die Vorinstanz hat in Würdigung des Gutachtens des Psychiaters Dr. med. K._ vom 16. April 2009 samt Ergänzung vom 27. Juli 2009 und der übrigen medizinischen Akten mit einlässlicher Begründung, auf die verwiesen wird (Art. 109 Abs. 3 BGG), richtig erkannt, dass sich der Gesundheitszustand des Beschwerdeführers nicht verändert habe und er in einer leidensangepassten Erwerbstätigkeit weiterhin zu 100 % arbeitsfähig sei. Zudem hat sie zutreffend erwogen, dass auch in erwerblicher Hinsicht Veränderungen weder geltend gemacht würden noch ersichtlich seien, weshalb kein Rentenanspruch bestehe.
3.2 Der Versicherte erhebt keine Rügen, welche die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig oder auf einer Rechtsverletzung nach Art. 95 BGG beruhend erscheinen lassen.
3.2.1 Er macht zur Hauptsache geltend, die Exploration beim Gutachter Dr. med. K._ habe maximal 95 Minuten betragen, was sich aus den Angaben seines Sohnes und des Besitzers eines Imbissstands ergebe. Demgegenüber habe Dr. med. K._ ausgeführt, seine Untersuchung habe 3 Stunden gedauert. Die Glaubwürdigkeit des Dr. med. K._ werde mit den vorhandenen Beweismitteln derart in Frage gestellt, dass bereits aus diesem Grund darauf nicht abgestellt werden könne. Diesbezüglich ist festzuhalten, dass grundsätzlich nicht die Dauer der Untersuchung massgebend ist, sofern der zeitliche Aufwand der Fragestellung und der zu beurteilenden Psychopathologie angemessen ist (Urteile 9C_811/2010 vom 16. Februar 2011 E. 4.2.1, 8C_485/2010 vom 21. September 2010 E. 2.4.3). Für die Annahme, dass die Untersuchung durch Dr. med. K._ nicht sorgfältig vorgenommen wurde, liegen keine Anhaltspunkte vor.
3.2.2 Dr. med. K._ legte im Gutachten vom 16. April 2009 zur Frage nach dem Grad der Arbeitsfähigkeit im bisherigen Arbeitsverhältnis bzw. Aufgabenbereich (in Prozenten) bzw. in angepasster Tätigkeit dar, die von ihm diagnostizierte Angst und depressive Störung gemischt, ICD-10: F41.2, führe gemäss der aktuellen Rechtsanwendung nicht zu einer Minderung der Arbeitsfähigkeit; mögliche Voraussetzungen für die Unzumutbarkeit einer ̈Schmerz-/Tremor-Überwindung ̈ lägen aus psychiatrisch-psychotherapeutischer Sicht nicht vor. Der Versicherte macht geltend, die Bezifferung der Arbeitsfähigkeit einzig unter Bezugnahme auf die Rechtsanwendung stelle einen schwerwiegenden materiellen Mangel dar, da dies spekulativ sei und der Gutachter damit als befangen erscheine.
3.2.3 Die Diagnose "Angst und depressive Störung, gemischt" gemäss ICD-10: F41.2 ist im Lichte der offiziellen ICD-klassifikatorischen Umschreibung ganz allgemein im Grenzbereich dessen zu situieren, was überhaupt noch als krankheitswertig im Sinne des Gesetzes und potentiell invalidisierendes Leiden gelten kann (Urteil 9C_636/2007 vom 28. Juli 2008 E. 3.3.2). Demnach ist es im Rahmen der sachverhaltsmässig eingeschränkten Kognition nicht zu beanstanden, wenn Dr. med. K._ eine Minderung der Arbeitsfähigkeit des Versicherten verneinte. Denn er begründete dieses Ergebnis konkret bezogen auf den Zustand des Beschwerdeführers, indem er sich auf eine Aktenzusammenfassung, eine Anamneseerhebung, die subjektiven Angaben des Versicherten sowie die objektiven Befunde mit Erhebung des Psychostatus und Testungen des Versicherten stützte. Insgesamt erfüllt sein Gutachten damit die von der Rechtsprechung aufgestellten Anforderungen an ein Gutachten (BGE 134 V 231 E. 5.1 S. 323; Urteil 8C_945/2009 vom 23. September 2010 E. 6.2). Unter diesen Umständen spricht nichts gegen die Zuverlässigkeit seiner Abklärungen und die Richtigkeit der dabei gewonnenen Erkenntnisse. Anhaltspunkte für eine Befangenheit des Dr. med. K._ liegen nicht vor.
3.2.4 Von weiteren Abklärungen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; BGE 137 V 64 E. 5.2 S. 69).
4. Die offensichtlich unbegründete Beschwerde wird ohne Durchführung eines Schriftenwechsels erledigt (Art. 109 Abs. 2 lit. a BGG). Die Verfahrenskosten sind dem unterliegenden Versicherten aufzuerlegen (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG). Die unentgeltliche Rechtspflege kann ihm wegen Aussichtslosigkeit der Beschwerde nicht gewährt werden (Art. 64 BGG; BGE 129 I 129 E. 2.3.1 S. 135 f.).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Juli 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Jancar