Sachverhalt: A. Der 1961 geborene D._ meldete sich im Mai 2006 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die eingeholten Unterlagen (u.a. Gutachten der MEDAS X._ vom 23. August 2010 mit orthopädischen und psychiatrischen Teilgutachten vom 20. Januar und 16. August 2010) und nach durchgeführtem Vorbescheidverfahren verneinte die IV-Stelle des Kantons Aargau mit Verfügung vom 20. Dezember 2010 den Anspruch auf eine Invalidenrente. B. Die Beschwerde des D._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 29. November 2011 ab. C. D._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, Gerichtsentscheid und Verwaltungsverfügung seien aufzuheben und ihm eine ganze Invalidenrente zuzusprechen, eventualiter die Sache zu weiteren medizinischen Abklärungen an die Vorinstanz oder an die IV-Stelle zurückzuweisen, unter Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Versicherungsgericht verzichtet auf eine Stellungnahme und stellt keinen Antrag. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.