Sachverhalt:
A. Der 1956 geborene C._ arbeitete seit Juni 2002 als Maurer. Am 4. Juli 2005 fiel er mit einem von einer starken Windböe erfassten und umgerissenen Gerüst zu Boden und erlitt Verletzungen an den Beinen und Rippen. Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte für diesen Unfall Leistungen. Wegen einer Rückenoperation bei Bandscheibenproblemen, Nackenbeschwerden nach HWS-Distorsion bei Sturz und vorbestehender Osteochondrose meldete sich C._ am 26. Juni 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich liess unter anderen Vorkehren bei der Medizinischen Abklärungsstelle (MEDAS), Institut X._ ein polydisziplinäres Gutachten vom 19. September 2008 erstellen. Mit Vorbescheid vom 10. Oktober 2008 wurde dem Versicherten mitgeteilt, der Invaliditätsgrad betrage lediglich 10 %. Nach Einreichung verschiedener Unterlagen und Einholung von weiteren Berichten der Rheumaklinik des Universitätsspitals Y._ über das Arbeitsassessment vom 18. April 2008 sowie der Uniklinik A._ vom 9. März 2009 wies die IV-Stelle das Leistungsbegehren mit Verfügung vom 5. Mai 2009 ab.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. Dezember 2010 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheides sei unter Kosten- und Entschädigungsfolgen die Beschwerdegegnerin zu verpflichten, ihm eine Invalidenrente auf der Grundlage eines Invaliditätsgrades von mindestens 40 % auszurichten.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Tatsächlicher Natur sind die Feststellungen zur Arbeits(un)fähigkeit, die das Sozialversicherungsgericht gestützt auf medizinische Untersuchungen trifft. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (<ref-ruling> E. 3.2 S. 397 ff.).
Die Höhe des Leidensabzugs ist eine Ermessensfrage und daher letztinstanzlich nur bei Ermessensüberschreitung, -missbrauch oder -unterschreitung korrigierbar (<ref-ruling> E. 3.3 S. 399).
2. Streitig und zu prüfen ist, ob die verfügte und vorinstanzlich bestätigte Verneinung des Anspruchs auf eine Invalidenrente Bundesrecht verletzt (E. 1). Dabei sind die Feststellungen, welche dieser Beurteilung zugrunde liegen, tatsächlicher Natur und folglich nur auf offensichtliche Unrichtigkeit oder Unvollständigkeit (E. 1) überprüfbar (SVR 2008 IV Nr. 53 S. 177 f. E. 4.2, I 803/06). Dagegen geht es um eine Rechtsfrage, soweit die Missachtung des Untersuchungsgrundsatzes geltend gemacht wird.
3. 3.1 Zur Verneinung des Anspruchs auf eine Invalidenrente stützte sich die Vorinstanz im angefochtenen Entscheid hauptsächlich auf das polydisziplinäre Gutachten der Medizinischen Abklärungsstelle (MEDAS), Institut X._ vom 19. September 2008, wobei sie davon ausging, diesem komme volle Beweiskraft zu.
3.2 Der Beschwerdeführer macht geltend, das Gutachten des Instituts X._ genüge schon aus formellen Gründen den gesetzlichen Anforderungen nicht, weil der Bericht über das Arbeitsassessment der Rheumaklinik und Institut für Physikalische Medizin des Universitätsspitals Y._ vom 18. April 2008 den Gutachtern des Instituts X._ nicht vorlag, sowie weil die Vorinstanz sich mit seiner Eingabe vom 23. Februar 2010 in psychiatrischer Hinsicht nicht auseinandergesetzt habe und die psychiatrische Beurteilung des Instituts X._ mithin offensichtlich auf unvollständiger Aktenlage erfolgt sei.
Diese Rügen sind nicht stichhaltig und das kantonale Gericht hat in seiner Beurteilung keine Beweiswürdigungsregeln verletzt. Es ist zwar zutreffend, dass das Gutachten des Instituts X._ den Bericht über das Arbeitsassessment der Rheumaklinik nicht einbezogen hat. Indes kommt auch der Arbeitsassessment-Bericht zum gleichen Ergebnis wie die Gutachter des Instituts X._ und insbesondere zum Schluss, eine 100%ige Arbeitsfähigkeit bei angepasster Arbeit sei möglich, wobei die Vorinstanz den Bericht in diesem Sinne gewürdigt hat. Die Gesamtwürdigung der medizinischen Akten durch das kantonale Gericht, wonach bei angepasster Arbeit eine volle Arbeitsfähigkeit vorliegt, ist somit überzeugend und vertretbar. Es trifft zwar auch zu, dass der Psychiater des Institut X._ die vom Beschwerdeführer geltend gemachten neun Monate andauernde psychiatrische Behandlung in seinem Bericht nicht anführt. Dr. med. K._, Facharzt FMH für Psychiatrie und Psychotherapie, der den Beschwerdeführer ab Mai 2008 behandelt, stellte die Diagnose einer Anpassungsstörung mit vorliegender Beeinträchtigung von anderen Gefühlen, insbesondere Depression, Anspannung, Aggression und Suizidalität, ICD-10:F 43.23. Er führe mit dem Versicherten alle 2-4 Wochen Gespräche. Wie die Vorinstanz zutreffend festgestellt hat, ist diese Diagnose nicht geeignet, eine andauernde Arbeitsunfähigkeit zu begründen. Somit hat die Vorinstanz diese Behandlung berücksichtigt und den Bericht des Psychiaters Dr. med. K._ vom 9. März 2009 gewürdigt (S. 9 des Urteils).
Schliesslich rügt der Beschwerdeführer die Höhe des berücksichtigten Leidensabzugs von 15 %, ohne darzutun, worin in dieser Festsetzung ein Ermessensmissbrauch liegen sollte; er bringt keine weiteren Abzugsgründe vor als die Vorinstanz in Betracht zog (Behinderung auch in leichter Arbeit, geringe Schulbildung, Alter). In der vorinstanzlichen Ansetzung des Leidensabzugs liegt kein Ermessensmissbrauch und der Abzug von 15 % ist somit bundesrechtskonform.
3.3 Es kann daher weder von einer offensichtlich unrichtigen Sachverhaltsfeststellung noch von einer Verletzung von Beweiswürdigungsregeln und damit von Bundesrecht (E. 1) die Rede sein. Die Beschwerde wird unter diesen Umständen ohne Durchführung des Schriftenwechsels abgewiesen.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten in Höhe von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini