Sachverhalt:
A. Der 1964 geborene M._ arbeitete als Bauarbeiter und Gerüstmonteur. Im Januar 1995 meldete er sich unter Hinweis auf die Folgen von 1992 und 1993 erlittenen Unfällen bei der Invalidenversicherung zum Leistungsbezug an. Vom 1. Februar bis 30. April 1996 liess die IV-Stelle des Kantons Zürich eine berufliche Abklärung durchführen. Mit Verfügung vom 12. September 1996 verneinte sie einen Anspruch auf berufliche Massnahmen.
Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte die gesetzlichen Leistungen für die Folgen des Unfalles vom Juli 1992 wie auch von zwei weiteren am 10. Februar und 25. August 2001 erlittenen Unfällen. Mit Verfügung vom 14. August 2002 hob sie die ausgerichtete Invalidenrente auf. In einer weiteren Verfügung vom 29. November 2005 sprach sie M._ eine Invalidenrente aufgrund einer Erwerbsunfähigkeit von 36 % und eine Integritätsentschädigung aufgrund einer Integritätseinbusse von 10 % zu. Die SUVA wies die dagegen erhobene Einsprache (Entscheid vom 17. Januar 2007) und das Sozialversicherungsgericht des Kantons Zürich die gegen den Einspracheentscheid erhobene Beschwerde ab (Entscheid vom 3. September 2007).
Auf eine erneute Anmeldung zum Leistungsbezug vom Juli 2003 hin verneinte die IV-Stelle den Anspruch des Versicherten auf eine Invalidenrente (Verfügung vom 17. Januar 2006, bestätigt mit Einspracheentscheid vom 16. Mai 2006). Die von M._ dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich in dem Sinne gut, dass es den Einspracheentscheid aufhob und die Sache an die IV-Stelle zurückwies, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Leistungsanspruch neu verfüge (Entscheid vom 3. September 2007). Im November 2007 ersuchte M._ zusätzlich um berufliche Massnahmen.
Die IV-Stelle nahm einen Bericht des Zentrum X._, vom 14. Januar 2008 zu den Akten und liess den Versicherten durch Dr. med. K._, Spezialarzt Psychiatrie und Psychotherapie FMH, begutachten (Gutachten vom 10. Juli 2008).
Mit Verfügungen vom 26. und 27. Januar 2010 verneinte die IV-Stelle den Anspruch auf berufliche Massnahmen und eine Rente.
B. Beschwerdeweise liess M._ das Rechtsbegehren stellen, es sei die Verfügung vom 27. Januar 2010 aufzuheben und die IV-Stelle zu verpflichten, ihm mindestens eine halbe Rente zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung (insbesondere fachärztliches Gutachten zur Frage der Pathologie des Schlafes, psychiatrisches Gutachten und Abklärung der Leistungsfähigkeit beim Zentrum Y._) und zu neuer Verfügung an die IV-Stelle zurückzuweisen. Mit Entscheid vom 28. Februar 2011 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das im kantonalen Verfahren gestellte Rechtsbegehren erneuern.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG). Die Behebung des Mangels muss für den Ausgang des Verfahrens entscheidend sein (vgl. <ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>).
2. Streitig und zu prüfen ist der Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung. Im angefochtenen Entscheid werden die für die Beurteilung des Leistungsanspruchs massgebenden Rechtsgrundlagen und die dazu ergangene Judikatur zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Nach einlässlicher Würdigung der medizinischen Akten hielt die Vorinstanz fest, dass der Versicherte aus somatischer Sicht insbesondere an einem ausgedünnten elongierten vorderen Kreuzbandtransplantat links mit geringen narbigen Veränderungen, einem verkürzten medialen Meniskus links, einem hypertrophen vorderen Kreuzbandersatz rechts mit Umgebungsveränderungen narbiger Art sowie an einem verkürzten medialen Meniskus rechts leide. Seit ihrem Entscheid vom 3. September 2007 habe sich sein somatischer Gesundheitszustand in Bezug auf die Arbeitsfähigkeit nicht verschlechtert. Dem Versicherten seien nach wie vor leichte bis mittelschwere Arbeiten ohne Zwangshaltungen für die Knie und ohne repetitives Treppensteigen mit zusätzlichen Pausen von insgesamt einer Stunde pro Tag ganztags zumutbar. Aus psychiatrischer Sicht leide der Beschwerdeführer an einer rezidivierenden depressiven Störung, die weitgehend leicht, im Verlauf aber auch mittelschwer sei, wobei die Überwindung der körperlichen Schmerzen als zumutbar erachtet werde. Für behinderungsangepasste Tätigkeiten bestünden keine Einschränkungen, ausser dass der Beschwerdeführer vermehrte Ruhepausen von rund einer Stunde täglich brauche. Zusammenfassend sei davon auszugehen, dass der Beschwerdeführer in einer angepassten, körperlich leichten bis mittelschweren Tätigkeit sowohl in somatischer als auch in psychischer Hinsicht bei zusätzlichen Pausen von insgesamt einer Stunde pro Tag (eine Zusammenrechnung des Pausenbedarfs sei nicht angezeigt) voll arbeitsfähig sei.
Hinsichtlich des Einkommensvergleichs bestätigte die Vorinstanz das Vorgehen der IV-Stelle, welche dem (unbestritten gebliebenen) Valideneinkommen von Fr. 71'500.- (13 x Fr. 5'500.-) im Jahr 2003 und Fr. 74'920.- im Jahr 2008 ein auf statistischen Grundlagen (Lohnstrukturerhebung des Bundesamtes für Statistik, LSE) ermitteltes und um 20 % gekürztes Invalideneinkommen (Fr. 48'115.- im Jahr 2008) gegenüberstellte und so zu einem Invaliditätsgrad von 36 % gelangte.
3.2 Dass das kantonale Gericht im Rahmen freier Beweiswürdigung (<ref-law>) dem Gutachten des Dr. med. K._ vom 10. Juli 2008 in Berücksichtigung der relevanten Vorakten und der geklagten Beschwerden ausschlaggebendes Gewicht beigemessen hat, ist mit Blick auf seine vollständige und inhaltlich korrekte Darlegung der medizinischen Aktenlage sowie deren sorgfältige und objektive Prüfung (vgl. <ref-ruling> E. 4.1 S. 400) weder offensichtlich unrichtig noch willkürlich oder sonst wie bundesrechtswidrig. Insbesondere beruht das vorinstanzliche Beweisergebnis auf einer dem Anspruch auf rechtliches Gehör (<ref-law>) genügenden Auseinandersetzung mit den Einwänden des Versicherten. Es bestehen keine Anhaltspunkte für seine Behauptung, der Gutachter habe ihn ungenügend - nur etwa 20 Minuten - befragt. Im Gegenteil belegen dessen ausführlichen Darlegungen, dass die notwendige Sorgfalt angewendet wurde. Dass Dr. med. K._, wie der Beschwerdeführer geltend macht, die leidensangepasste Tätigkeit nicht näher bezeichnete, vermag nicht zu schaden, weil seinen Ausführungen unschwer entnommen werden kann, dass die Tätigkeit der verminderten Anpassungsfähigkeit und Belastbarkeit des Beschwerdeführers angemessen sein muss (vgl. auch zusätzliche Stellungnahme des Dr. med. K._ vom 6. Oktober 2008). Weshalb aus der Einschränkung der Arbeitsfähigkeit bei der bisherigen Tätigkeit von 30 % eine ebensolche in jeglicher Hilfsarbeitertätigkeit resultieren soll, wie der Beschwerdeführer geltend macht, kann nicht nachvollzogen werden.
Dass sich der Beschwerdeführer selber aufgrund der im Schlaflabor festgestellten Gesamtschlafzeit von 3,8 Stunden pro Nacht für höchstens 50 % arbeitsfähig hält, ist als rein subjektive Einschätzung nicht massgebend. Der entsprechende Bericht der Klinik Z._ vom 27. Februar 2008 äussert sich nicht zur Arbeitsfähigkeit und die darin aufgeführten Ergebnisse des Schlaflabors allein stellten für Dr. med. K._ keinen Grund für die Annahme verminderter Arbeitsfähigkeit dar. Entgegen der Behauptung in der Beschwerde trifft es denn auch nicht zu, dass Dr. med. K._ seine Einschätzung in der Stellungnahme vom 6. Oktober 2008 relativiert und eine zusätzliche Abklärung bei einer ärztlichen Fachperson mit der Subspezialisierung "Pathologie des Schlafes" empfohlen hätte. Vielmehr führte er aus, dass die vom Beschwerdeführer aufgestellte These, die Gesamtschlafzeit von 3,8 Stunden pro Nacht lasse höchstens eine Arbeitsfähigkeit von 50 % zu, durch eine entsprechende Fachperson beurteilt werden müsste. Dazu bestand indessen kein Anlass, weil selbst eine fachärztliche Aussage zum Zusammenhang zwischen Schlaf und Arbeitsfähigkeit im Allgemeinen die konkrete Arbeitsfähigkeitsschätzung nicht zu ersetzen vermöchte. Entgegen der in der Beschwerde vertretenen Auffassung bestand und besteht bei dieser Sachlage kein Grund für weitere Abklärungen im Sinne des gestellten Eventualantrages.
Zusammenfassend ergibt sich, dass die Einwände des Beschwerdeführers allesamt keine Zweifel an der Zuverlässigkeit der gutachterlichen Aussagen zu begründen vermögen, weshalb das kantonale Gericht von weiteren Beweismassnahmen (insbesondere auch von der beantragten Arbeitsabklärung im Zentrum Y._) in antizipierter Beweiswürdigung (<ref-ruling> E. 5.3 S. 236; <ref-ruling> E. 4b S. 94) absehen durfte.
Unbegründet ist auch die Kritik des Beschwerdeführers, wonach die Vorinstanz die veraltete Rechtsprechung zur Bindungswirkung der Invaliditätsschätzung des Unfallversicherers für die Invalidenversicherung angewendet habe. Denn die Vorinstanz hat (wie die IV-Stelle) eine eigene Invaliditätsbemessung vorgenommen und diese lediglich, wie ohne weiteres zulässig, im Sinne einer Plausibilitätskontrolle mit derjenigen des Unfallversicherers verglichen. Nicht zu beanstanden ist, dass die Vorinstanz beim Invalideneinkommen der Notwendigkeit zusätzlicher Pausen nicht mit einer Reduktion des Arbeitspensums Rechnung getragen hat, sondern im Rahmen der Bemessung des Abzuges vom Tabellenlohn, welchen sie auf 20 % festgesetzt hat (vgl. auch Urteil 9C_632/2010 vom 29. Oktober 2010 E. 2.1). Die davon abweichenden Berechnungen des Beschwerdeführers laufen auf eine doppelte Berücksichtigung derselben Einschränkung hinaus.
3.3 Der von der Vorinstanz ermittelte rentenausschliessende Invaliditätsgrad von 36 % ist damit rechtens.
4. Entsprechend dem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Juli 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann