Sachverhalt: A. Der 1967 geborene L._ meldete sich im August 2004 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 18. Oktober 2006 verneinte die IV-Stelle des Kantons Zürich den Anspruch auf eine Invalidenrente. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. März 2008 in dem Sinne gut, als es die Verfügung aufhob und die Sache zu ergänzenden Abklärungen an die Verwaltung zurückwies. Nach weiteren Abklärungen und Durchführung des Vorbescheidverfahrens wies die IV-Stelle das Rentenbegehren mit Verfügung vom 4. Dezember 2009 erneut ab. B. Die Beschwerde des L._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. August 2010 ab. C. L._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des Entscheids vom 3. August 2010 sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen.