Sachverhalt:
A. Der 1964 geborene Q._ war als Bauarbeiter tätig. Im Juni 1992 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich sprach ihm (mit nicht bei den Akten liegender, unauffindbarer Verfügung) eine ganze Rente zu und bestätigte diese wiederholt revisionsweise (Verfügungen vom 12. November 1996 und vom 2. September 1997, Mitteilung vom 9. August 2001). Ab 1. Januar 1995 arbeitete der Versicherte als Magaziner für die Firma A._ und anschliessend (ab 2001) bis zur auf Ende Juni 2007 erfolgten Kündigung in derselben Eigenschaft für die Firma E._ GmbH.
Im Rahmen einer weiteren revisionsweisen Überprüfung des Rentenanspruchs gab die IV-Stelle beim Zentrum X._ ein Gutachten in Auftrag. Gestützt auf das am 3. Oktober 2007 erstattete Gutachten stellte sie, nach Durchführung des Vorbescheidverfahrens, die Invalidenrente mit Wirkung auf Ende Februar 2008 ein (Verfügung vom 24. Januar 2008).
B. Die von Q._ mit dem Antrag auf Weiterausrichtung einer ganzen Rente und dem Eventualantrag auf Rückweisung der Sache zu weiteren Abklärungen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. September 2009 ab.
C. Q._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, der kantonale Entscheid und die Verwaltungsverfügung seien aufzuheben. Es sei ihm auch für die Zeit ab 1. März 2008 eine ganze Rente zuzusprechen. Eventualiter sei die Sache zu weiteren Abklärungen und zur Neubeurteilung an die IV-Stelle, eventualiter die Vorinstanz, zurückzuweisen.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Diese gesetzliche Kognitionsbeschränkung in tatsächlicher Hinsicht gilt namentlich für die Einschätzung der gesundheitlichen und leistungsmässigen Verhältnisse (<ref-law>), wie sie sich im revisions- oder neuanmeldungsrechtlich massgeblichen Vergleichszeitraum (<ref-ruling>) entwickelt haben (Urteil des Eidg. Versicherungsgerichts I 692/06 vom 19. Dezember 2006 E. 3.1).
2. Im angefochtenen Entscheid werden die Bestimmungen über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), den Umfang des Rentenanspruchs (<ref-law> von vom 1. Januar 2004 bis 31. Dezember 2007 gültig gewesenen Fassung; <ref-law> in der seither in Kraft stehenden Fassung) und die Rentenrevision (<ref-law>) richtig dargelegt. Darauf wird verwiesen.
3. Zu beurteilen ist, ob der Gesundheitszustand des Beschwerdeführers im massgeblichen Vergleichszeitraum zwischen der (unauffindbaren) rentenzusprechenden und der -aufhebenden Verfügung vom 24. Januar 2008 eine erhebliche, die Arbeitsfähigkeit beeinflussende Veränderung erfahren hat.
3.1 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Analoges gilt auch für die Frage, ob sich eine Arbeits(un)fähigkeit in einem bestimmten Zeitraum in einem revisionsrechtlich relevanten Sinne (<ref-law>; Art. 87 Abs. 3 und 4 IVV) verändert hat (Urteil I 865/06 vom 12. Oktober 2007 E. 4). Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2).
3.2 Das kantonale Gericht erwog, es sei auch ohne die ursprüngliche rentenbegründende Verfügung möglich, den dieser zugrunde liegenden medizinischen Sachverhalt zu ermitteln. Denn aus der vom Spital Y._ am 4. Januar 1994 erstellten Krankengeschichte sei ersichtlich, dass beim Beschwerdeführer mit überwiegender Wahrscheinlichkeit eine psychische Fehlentwicklung im Umgang mit der körperlichen Beeinträchtigung zu einer Berentung geführt habe. Aus rheumatologischer Sicht sei ihm bereits damals in einer angepassten Tätigkeit eine volle Arbeitsfähigkeit attestiert worden; einzig anlässlich der psychiatrischen Untersuchung sei von einer schlechten Prognose und der Notwendigkeit einer Berentung die Rede gewesen. Nachdem im Gutachten des Zentrums X._ vom 3. Oktober 2007 keine psychische Erkrankung mehr festgestellt worden sei, müsse davon ausgegangen werden, dass sich der psychische Gesundheitszustand des Beschwerdeführers im massgeblichen Vergleichszeitraum verbessert habe und in einer angepassten Tätigkeit (leichte Tätigkeit in Wechselbelastung ohne Heben, Tragen und Transportieren von Lasten von mehr als 5 Kilogramm sowie ohne Verharren in Zwangshaltungen) eine volle Arbeitsfähigkeit bestehe.
3.3 Der Beschwerdeführer macht geltend, diese tatsächlichen Feststellungen des kantonalen Gerichts seien offensichtlich unrichtig und deshalb für das Bundesgericht nicht verbindlich. Es treffe nicht zu oder sei aktenwidrig, dass psychische Beeinträchtigungen seinerzeit zur Zusprechung einer Invalidenrente geführt hätten. Der von der Vorinstanz zitierte Bericht des Spitals Y._ vom 4. Januar 1994 gebe keine Auskunft darüber, inwiefern psychische Probleme seine Arbeits- und Erwerbsfähigkeit eingeschränkt hätten. Auch dem Gutachten des Zentrums X._ vom 3. Oktober 2007 lasse sich nur entnehmen, dass im Zeitpunkt der Begutachtung keine psychische Erkrankung feststellbar gewesen sei, nicht aber, dass eine solche zum Zeitpunkt der Rentenzusprechung bestanden habe. Es sei ohnehin nicht einzusehen, wie sich sein psychischer Gesundheitszustand ohne psychotherapeutische Behandlung verändert haben könnte. Richtigerweise sei davon auszugehen, dass die Berentung aufgrund physischer Einschränkungen erfolgt sei, in welcher Hinsicht jedoch keine veränderten Verhältnisse vorlägen.
3.4 Dieser Auffassung kann nicht gefolgt werden. Die Ärzte der Rheumaklinik des Spitals Y._ diagnostizierten in ihrem Bericht vom 4. Januar 1994 ein chronisches lumbovertebrales bis lumbospondylogenes Syndrom sowie eine psychische Fehlentwicklung und Aggravationstendenz bei sozialer Entwurzelung und fehlender Zukunftsperspektive. Da sich die vom Versicherten beklagten Beschwerden durch die objektiv erhobenen Befunde nicht begründen liessen, veranlassten sie ein psychiatrisches Konsilium, welches die Diagnose eines chronischen lumbalen Schmerzsyndromes mit massiver psychogener Überlagerung und Entwurzelungsproblematik ergab. Im Bericht vom 4. Januar 1994 wurde festgehalten, aus rheumatologischer Sicht könne der Versicherte zwar in der früheren Tätigkeit als Bauhandlanger nicht mehr eingesetzt werden, doch seien ihm körperlich mittelschwere bis leichte Arbeiten mit Wechselbelastung zu 100 % zumutbar. Demgegenüber hielt der konsiliarisch beigezogene Psychiater fest, die psychische Fehlentwicklung vor dem Hintergrund einer körperlichen Beeinträchtigung entspreche einem geistigen Gesundheitsschaden. Es bestünden keine psychotherapeutischen Möglichkeiten für eine Beeinflussung der Symptomatik und eine Berentung sei unumgänglich. Bei dieser Aktenlage liegt es - entgegen der Darstellung des Beschwerdeführers - auf der Hand und hat die Vorinstanz demnach zutreffend erkannt, dass die Berentung aus psychischen Gründen erfolgt war. Dass sich der Versicherte, wie er geltend machen lässt, keiner psychotherapeutischen Behandlung unterzogen hat, schliesst eine spontane Verbesserung des psychischen Gesundheitszustandes nicht aus. Nachdem der Beschwerdeführer zu Recht nicht bestreitet, dass im Zeitpunkt der Begutachtung durch das Zentrum X._ jedenfalls keine psychischen Beeinträchtigungen vorlagen, ist die vorinstanzliche Feststellung eines verbesserten psychischen Gesundheitszustandes und einer vollen Arbeitsfähigkeit in einer dem Rückenleiden angepassten Tätigkeit nicht zu beanstanden.
3.5 Nach dem Gesagten weist die vorinstanzliche Würdigung des medizinischen Dossiers keine augenfälligen Mängel auf, welche eine offensichtliche Unrichtigkeit oder eine Unvollständigkeit der diesbezüglichen Feststellungen begründen könnten. Dementsprechend erscheint auch die auf antizipierter Beweiswürdigung (<ref-ruling> E. 3 S. 157; <ref-ruling> E. 4b S. 94) beruhende Schlussfolgerung des kantonalen Gerichts, weitere medizinische Erhebungen erübrigten sich, nicht bundesrechtswidrig (vgl. <ref-law>).
3.6 Bleiben damit die vorinstanzlichen Feststellungen zur Arbeitsfähigkeit des Beschwerdeführers für das Bundesgericht verbindlich (E. 1), ist die im angefochtenen Entscheid bestätigte revisionsweise Aufhebung der Rente bundesrechtskonform, zumal sich der Versicherte mit dem zu einem rentenausschliessenden Invaliditätsgrad (IV-Stelle: 4 %; Vorinstanz: 13 %) führenden Einkommensvergleich nicht auseinandersetzt. Diesbezügliche Weiterungen erübrigen sich.
4. Die im Sinne von <ref-law> offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
5. Entsprechend dem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Juni 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Keel Baumann