Sachverhalt:
A. A.a Der 1953 geborene P._ meldete sich im Juli 2002 wegen Rückenbeschwerden zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich sprach ihm für die Zeit vom 1. Juni bis 31. Oktober 2002 eine ganze (Invaliditätsgrad: 100 %) und für die Zeit ab 1. November 2002 eine halbe Rente (Invaliditätsgrad: 61 %) zu (Verfügungen vom 11. März 2003, bestätigt mit Einspracheentscheid vom 5. Februar 2004). Die von P._ dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich in dem Sinne gut, dass es den Einspracheentscheid aufhob und die Sache an die IV-Stelle zurückwies, damit diese nach erfolgter Abklärung im Sinne der Erwägungen über den Rentenanspruch ab 1. Juni 2002 und den Anspruch auf eine Hilflosenentschädigung (neu) verfüge. Dieser Entscheid vom 30. August 2005 erwuchs unangefochten in Rechtskraft.
A.b Mit Verfügung vom 22. Dezember 2005 erhöhte die IV-Stelle die weiterhin ausgerichtete halbe Invalidenrente mit Wirkung ab 1. Januar 2004 auf eine Dreiviertelsrente unter Hinweis auf die Änderungen der 4. IV-Revision. Sie beauftragte Dr. med. C._, Psychiatrie und Psychotherapie FMH, mit der Erstellung eines Gutachtens, welches dieser am 25. August 2006 erstattete. Auf die vom Versicherten gegen die Verfügung vom 22. Dezember 2005 erhobene Einsprache trat die IV-Stelle nicht ein und hob die Verfügung wiedererwägungsweise auf (Verfügung vom 13. Dezember 2006). Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. Juni 2007 ab, soweit es darauf eintrat.
A.c Mit Verfügung vom 25. April 2007 verneinte die IV-Stelle einen Anspruch des Versicherten auf eine Hilflosenentschädigung. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde ab (Entscheid vom 30. Dezember 2008).
A.d Mit Vorbescheid vom 28. April 2009 stellte die IV-Stelle die Einstellung der (trotz Aufhebung des Einspracheentscheids vom 5. Februar 2004 [Entscheid vom 30. August 2005] weiterhin ausgerichteten) halben Rente per sofort in Aussicht mit der Begründung, der Versicherte sei in rentenausschliessendem Mass erwerbsfähig, so dass nie ein Rentenanspruch bestanden habe. Am 9. September 2009 verfügte die IV-Stelle im angekündigten Sinn.
B. Die von P._ (in eigenem Namen am 28. September 2009 und anwaltlich vertreten am 25. September 2009 [Postaufgabe: 12. Oktober 2009]) mit dem Antrag auf Zusprechung einer ganzen Invalidenrente erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 8. März 2011 ab.
C. P._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt sinngemäss, es sei ihm aufgrund eines Invaliditätsgrades von mindestens 50 % eine Rente zuzusprechen.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 1 und 2 BGG). Die Behebung des Mangels muss für den Ausgang des Verfahrens entscheidend sein (vgl. Art. 97 Abs. 1 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
2. Streitig ist der Anspruch auf eine Rente der Invalidenversicherung. Im angefochtenen Entscheid werden die für die Beurteilung des Leistungsanspruchs massgebenden Rechtsgrundlagen und die dazu ergangene Judikatur zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Das kantonale Gericht ging hinsichtlich des somatischen Gesundheitszustandes davon aus, dass die im Entscheid vom 30. August 2005 enthaltene Feststellung, wonach dem Beschwerdeführer eine behinderungsangepasste, d.h. wechselbelastende, leichte körperliche Arbeitstätigkeit uneingeschränkt zumutbar ist, nach wie vor (d.h. bis zum zeitliche Grenze der richterlichen Überprüfungsbefugnis bildenden Verfügungserlass [9. September 2009]) Gültigkeit hat. In psychischer Sicht stützte es sich auf das Gutachten des Dr. med. C._ vom 25. August 2006, gemäss welchem die Arbeitsfähigkeit des Beschwerdeführers zu keinem Zeitpunkt beeinträchtigt war. Für das Jahr 2002 (Jahr des hypothetischen Rentenbeginns) ermittelte es ein Valideneinkommen von Fr. 61'100.- und ein Invalideneinkommen von Fr. 45'606.-, was nach Gegenüberstellung der beiden Vergleichseinkommen einen Invaliditätsgrad von (gerundet) 25 % ergab. Gestützt darauf gelangte es zum Ergebnis, dass der Beschwerdeführer die Anspruchsvoraussetzungen für eine Invalidenrente nie erfüllt habe, so dass die Einstellung der Rente zwar spät, aber zu Recht ergangen sei.
3.2 Der Versicherte wendet sich nicht gegen die vorinstanzliche Feststellung, wonach aus psychiatrischer Sicht eine volle Arbeitsfähigkeit besteht, sondern gegen die Feststellung des Fehlens einer Beeinträchtigung aus somatischen Gründen. Indessen steht aufgrund der einlässlichen medizinischen Untersuchungen, welche im unangefochten gebliebenen Entscheid vom 30. August 2005 im Einzelnen dargestellt sind, fest, dass er trotz der von ihm ausführlich geschilderten Rückenbeschwerden noch in der Lage ist, körperlich leichte Tätigkeiten auszuüben. Objektive Hinweise auf eine dauerhafte Verschlechterung der Rückenbeschwerden sind nicht aktenkundig. Keine offensichtliche Unrichtigkeit mag zu begründen, dass der Versicherte sich subjektiv ausserstande fühlt, irgendeiner Tätigkeit nachzugehen. Ebenso wenig kann er etwas aus dem Bezug einer Rente der kroatischen Invalidenversicherung ableiten, zumal dieser die Zusprechung einer Rente der schweizerischen Invalidenversicherung nicht präjudiziert (vgl. ZAK 1989 S. 319 E. 2). Da der im angefochtenen Entscheid festgestellte Sachverhalt somit weder unauflösbare Widersprüche enthält noch auf unvollständiger Beweisgrundlage beruht, ist nicht zu beanstanden, dass die Vorinstanz von weiteren Beweismassnahmen abgesehen hat (antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 S. 236 f. mit Hinweisen). Die gegen den vorinstanzlichen Entscheid erhobenen Einwände sind allesamt nicht geeignet, die für das Bundesgericht verbindlichen tatsächlichen Feststellungen der Vorinstanz zur Arbeitsfähigkeit als offensichtlich unrichtig oder sonst wie bundesrechtswidrig erscheinen zu lassen (Art. 97 Abs. 1 und 105 Abs. 2 BGG).
Was den Einkommensvergleich anbelangt, übt der Beschwerdeführer grundsätzliche Kritik an der Konzeption der schweizerischen Invalidenversicherung, die für die Invaliditätsbemessung von einer ausgeglichenen Arbeitsmarktlage ausgeht (Art. 16 ATSG; bis Ende 2002: Art. 28 Abs. 2 IVG). Darauf ist schon deshalb nicht näher einzugehen, weil die Bundesgesetze nach Art. 190 BV für das Bundesgericht und die anderen rechtsanwendenden Behörden massgebend sind (vgl. BGE 135 V 29 E. 4.3 S. 32; 131 II 562 E. 3.2 S. 565; 131 V 256 E. 5.3 S. 259). Da die vorinstanzliche Bemessung der dem Einkommensvergleich zugrunde zu legenden Vergleichseinkommen ansonsten unbestritten geblieben ist, hat es bei dem durch das kantonale Gericht festgesetzten, den Anspruch auf eine Invalidenrente ausschliessenden Erwerbsunfähigkeitsgrad von 25 % sein Bewenden. Inwiefern die Verneinung des Anspruchs auf eine Invalidenrente mangels Erfüllen der gesetzlichen Voraussetzungen das Recht auf Menschenwürde oder das Diskriminierungsverbot im Sinne von Art. 7 und 8 BV verletzen soll, wie in der Beschwerde wenig substantiiert vorgebracht wird, ist nicht ersichtlich.
4. Dem Prozessausgang entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann