Sachverhalt:
A. Der 1967 geborene L._ meldete sich im August 2004 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 18. Oktober 2006 verneinte die IV-Stelle des Kantons Zürich den Anspruch auf eine Invalidenrente. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. März 2008 in dem Sinne gut, als es die Verfügung aufhob und die Sache zu ergänzenden Abklärungen an die Verwaltung zurückwies. Nach weiteren Abklärungen und Durchführung des Vorbescheidverfahrens wies die IV-Stelle das Rentenbegehren mit Verfügung vom 4. Dezember 2009 erneut ab.
B. Die Beschwerde des L._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. August 2010 ab.
C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des Entscheids vom 3. August 2010 sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Somatoforme Schmerzstörungen vermögen in der Regel keine lang dauernde, zu einer Invalidität im Sinne von Art. 4 Abs. 1 IVG führende Einschränkung der Arbeitsfähigkeit zu bewirken (BGE 136 V 279 E. 3 S. 280 ff.; 130 V 352 E. 2.2.2 und 2.2.3 S. 353 f.; 132 V 65; 131 V 49; 130 V 396). Die - nur in Ausnahmefällen anzunehmende - Unzumutbarkeit einer willentlichen Schmerzüberwindung und eines Wiedereinstiegs in den Arbeitsprozess setzt das Vorliegen einer mitwirkenden, psychisch ausgewiesenen Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer oder aber das Vorhandensein anderer qualifizierter, mit gewisser Intensität und Konstanz erfüllter Kriterien wie chronische körperliche Begleiterkrankungen und mehrjähriger Krankheitsverlauf bei unveränderter oder progredienter Symptomatik ohne längerfristige Remission, ein ausgewiesener sozialer Rückzug in allen Belangen des Lebens, ein verfestigter, therapeutisch nicht mehr angehbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn) oder schliesslich unbefriedigende Behandlungsergebnisse trotz konsequent durchgeführter Behandlungsbemühungen (auch mit unterschiedlichem therapeutischem Ansatz) und gescheiterte Rehabilitationsmassnahmen bei vorhandener Motivation und Eigenanstrengung der versicherten Person voraus (BGE 130 V 352 E. 2.2.3 S. 354 f.). Je mehr dieser Kriterien zutreffen und je ausgeprägter sich die entsprechenden Befunde darstellen, desto eher sind die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen (BGE 131 V 49 E. 1.2 S. 50 f. mit Hinweisen).
2.2 Bei der Beurteilung der Arbeitsunfähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, welche von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (BGE 132 V 93 E. 4 S. 99 f.). Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis).
2.3 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; erwähntes Urteil I 865/06 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG). Dies gilt auch für die Frage, ob und gegebenenfalls inwieweit einer versicherten Person unter Aufbringung allen guten Willens die Überwindung ihres Leidens und die Verwertung ihrer verbleibenden Arbeitskraft zumutbar ist und ob die von den Ärzten anerkannte (Teil-)Arbeitsunfähigkeit auch im Lichte der für eine Unüberwindlichkeit der Schmerzsymptomatik massgebenden rechtlichen Kriterien (E. 2.1) standhält (BGE 130 V 352 E. 2.2.5 S. 355 f.).
3. Es steht fest und ist unbestritten, dass in somatischer Hinsicht die Arbeitsfähigkeit des Versicherten in der bisherigen Tätigkeit als Wäschereimitarbeiter nicht eingeschränkt ist. In Bezug auf die psychischen Beeinträchtigungen hatte das kantonale Gericht im Rückweisungsentscheid vom 17. März 2008 dem Gutachten des Dr. med. S._ vom 30. Juni 2006 Beweiskraft beigemessen. Gestützt auf das von der Verwaltung nachträglich eingeholte Gutachten des Dr. med. A._ vom 9. September 2009 - mit welchem eine anhaltende somatoforme Schmerzstörung (ICD-10: F45.4) sowie akzentuierte ängstlich-vermeidende Persönlichkeitszüge (ICD-10: Z73) diagnostiziert und eine Arbeitsunfähigkeit von 20 % attestiert wurden - hat es festgestellt, die geltend gemachte Verschlechterung der gesundheitlichen Situation sei nicht ersichtlich. Weil dem Versicherten aus rechtlicher Sicht die Schmerzüberwindung zumutbar sei, sei dessen Arbeitsfähigkeit auch unter psychischen Aspekten im gesamten massgeblichen Beurteilungszeitraum nicht eingeschränkt gewesen. Der Beschwerdeführer stellt den Beweiswert des Gutachtens des Dr. med. A._ in Abrede und hält die Morbiditätskriterien (E. 2.1) für erfüllt.
4. 4.1 Die vorinstanzliche Feststellung betreffend die Verschlechterung des Gesundheitszustandes (E. 3) ist weder offensichtlich unrichtig (E. 1 und 4.2), noch ist ihr Relevanz abzusprechen. Mit Bezug auf die im Rückweisungsentscheid vom 17. März 2008 vorgenommene Würdigung des Gutachtens des Dr. med. S._ bringt der Beschwerdeführer - trotz entsprechender Möglichkeit (vgl. Art. 93 Abs. 3 BGG) - keine Rügen vor. Inwiefern die Berücksichtigung der weiteren gesundheitlichen Entwicklung seit der im Juni 2006 erfolgten Begutachtung oder die Herleitung des Sachverhalts zu einem bestimmten Zeitpunkt in Relation zu früheren Gegebenheiten eine Verletzung von Bundesrecht darstellen soll, ist jedenfalls nicht ersichtlich.
4. 4.1 Die vorinstanzliche Feststellung betreffend die Verschlechterung des Gesundheitszustandes (E. 3) ist weder offensichtlich unrichtig (E. 1 und 4.2), noch ist ihr Relevanz abzusprechen. Mit Bezug auf die im Rückweisungsentscheid vom 17. März 2008 vorgenommene Würdigung des Gutachtens des Dr. med. S._ bringt der Beschwerdeführer - trotz entsprechender Möglichkeit (vgl. Art. 93 Abs. 3 BGG) - keine Rügen vor. Inwiefern die Berücksichtigung der weiteren gesundheitlichen Entwicklung seit der im Juni 2006 erfolgten Begutachtung oder die Herleitung des Sachverhalts zu einem bestimmten Zeitpunkt in Relation zu früheren Gegebenheiten eine Verletzung von Bundesrecht darstellen soll, ist jedenfalls nicht ersichtlich.
4.2 4.2.1 Was das Gutachten des Dr. med. A._ anbelangt, hat die Vorinstanz - angesichts der rund drei Seiten umfassenden subjektiven Angaben und des entsprechenden Hinweises des Experten nicht offensichtlich unrichtig (E. 1) - festgestellt, allein die Anamneseerhebung durch den Gutachter habe fast zwei Stunden in Anspruch genommen. Weiter hat sie zutreffend darauf hingewiesen, dass grundsätzlich nicht die Dauer der Untersuchung massgebend ist, sofern der zeitliche Aufwand der Fragestellung und der zu beurteilenden Psychopathologie angemessen ist (vgl. Urteile 9C_246/2010 vom 11. Mai 2010 E. 2.2.2; 9C_664/2009 vom 6. November 2009 E. 3). Für die Annahme, dass dies nicht zutreffen soll, liegen keine Anhaltspunkte vor, zumal der Gutachter wesentliche unbestrittene Angaben (etwa betreffend Biografie, Familien-, Berufs- und Arbeitsanamnese) den Vorakten entnehmen konnte. Etwas anderes ergibt sich auch nicht aus SZS 2008 S. 393, I 1094/06 E. 3.1.1, worin ein psychiatrisches Explorationsgespräch von lediglich 20 Minuten Dauer als offensichtlich unzureichend bezeichnet wurde.
4.2.2 Weiter hat das kantonale Gericht in Bezug auf den Verzicht auf die Durchführung von Tests und das Einholen von weiteren fremdanamnestischen Auskünften in Übereinstimmung mit der bundesgerichtlichen Rechtsprechung auf die Fachkenntnis und den Ermessensspielraum des Experten (Urteil I 305/06 vom 22. Mai 2007 E. 3.2; vgl. auch Urteile 9C_547/2010 vom 26. Januar 2011; 8C_486/2010 vom 2. Dezember 2010 E. 3.1.2; 9C_762/2010 vom 19. Oktober 2010 E. 3.1; 9C_482/2010 vom 21. September 2010 E. 4.1) verwiesen. Im Übrigen sprechen auch die laut Bericht des Zentrums X._ vom 16. Februar 2010 von der Tochter gemachten Angaben nicht zwingend gegen die Einschätzung des Gutachters, welcher eine gravierende, mittel- bis schwergradige depressive Störung ausschloss.
4.2.3 Ausserdem kann das psychiatrische Gutachten im Hinblick auf die streitigen Belange nicht als unvollständig (E. 2.2) bezeichnet werden mit der Begründung, die (somatische) Diagnose eines Tinnitus aurium (ICD-10: H93.1) sei darin nicht aufgeführt. Entsprechende Hinweise finden sich ausschliesslich in den Berichten des Zentrums X._ vom 21. April 2006 und 14. Februar 2009, welche indessen über den damit verbundenen Leidensdruck (vgl. Pschyrembel, Klinisches Wörterbuch, 262. Auflage, S. 2072) keinen Aufschluss geben. Anlässlich der psychiatrischen Begutachtung erwähnte der Versicherte betreffend das Gehör einzig eine "Lärmempfindlichkeit (links mehr als rechts)", welche vom Experten auch berücksichtigt wurde.
4.2.4 Schliesslich schmälert auch der Bericht des Zentrums X._ vom 16. Februar 2010 den Beweiswert des psychiatrischen Gutachtens nicht, werden doch darin weitgehend lediglich die früheren eigenen Einschätzungen bekräftigt, welche von jenen des Dr. med. A._ abweichen. Soweit "objektiv" eine vollständige Arbeitsunfähigkeit attestiert wird, beruht dies - wie das Ergebnis psychometrischer Testungen (Urteil 8C_486/2010 vom 2. Dezember 2010 E. 3.1.2) - weitgehend auf den subjektiven Angaben und Selbsteinschätzungen des Versicherten. Im Übrigen handelt es sich beim Bericht um eine Stellungnahme behandelnder Ärzte (vgl. BGE 125 V 351 E. 3b/cc S. 353).
4.2.5 Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz dem Gutachten des Dr. med. A._ in Bezug auf den medizinischen Sachverhalt Beweiskraft beigemessen hat.
4.3 Was die Kriterien für eine invalidisierende Wirkung des Leidens (E. 2.1) anbelangt, hat die Vorinstanz (unter Verweis auf die Gutachten des Dr. med. A._ und des Spitals Y._ vom 3. Oktober 2008) eine psychische Komorbidität von erheblicher Schwere und Ausprägung sowie eine chronische körperliche Begleiterkrankung verneint. Hinsichtlich des Tinnitus (E. 4.2.3) liegen keine Anhaltspunkte für eine rechtlich massgebliche Intensität der Beeinträchtigung vor. Weiter hat das kantonale Gericht gestützt auf die in der psychiatrischen Untersuchung gemachten Angaben des Versicherten festgestellt, dieser gehe täglich spazieren, treffe sich gelegentlich mit Kollegen zum Kaffee und habe guten Kontakt zu Schwester und Eltern. Die Folgerung, wonach ein sozialer Rückzug in allen Belangen des Lebens nicht ersichtlich sei, ist daher nicht offensichtlich unrichtig und für das Bundesgericht verbindlich (E. 1). Sodann wird die vorinstanzliche Feststellung, es bestehe kein Grund für die Annahme eines primären Krankheitsgewinns, nicht in Abrede gestellt. Dass das kantonale Gericht unter diesen Umständen eine psychisch bedingte Einschränkung der Arbeitsfähigkeit verneint hat, hält vor Bundesrecht stand. Auch unter zusätzlicher Berücksichtigung eines 2006 erfolgten und zehn Tage dauernden stationären Kuraufenthalts in Serbien vermögen die bisherigen, gescheiterten Behandlungsbemühungen allein daran nichts zu ändern. Die Beschwerde ist unbegründet.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Markus Bischoff, Zürich, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Februar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann