Sachverhalt: A. H._, geboren 1977, arbeitete zuletzt in der Firma B._ AG als Arbeiter im Hochbau. Am 28. April 2006 erlitt er einen Arbeitsunfall, bei dem ihm ein Rollgerüst an den Kopf fiel. Die SUVA gewährte bis 30. Juni 2007 die versicherten Leistungen. Am 1. März 2007 meldete sich H._ bei der IV-Stelle des Kantons Aargau zum Bezug von Leistungen der Invalidenversicherung an. Die IV-Stelle klärte die medizinischen und wirtschaftlichen Verhältnisse ab und gab beim Institut X._ ein interdisziplinäres Gutachten (vom 3./5. März 2008) in Auftrag. Vom 11. August 2008 bis 10. Februar 2009 sollte der Versicherte ein Arbeitstraining in der Stiftung Y._, Stiftung für Einarbeitung, Eingliederung, geschützte Arbeitsplätze durchführen. Er brach es am 10. Dezember 2008 ab (Bericht der Stiftung vom 22. Dezember 2008). Mit Vorbescheid vom 27. März 2008 und Verfügung vom 5. Mai 2009 wies die IV-Stelle das Leistungsbegehren bei einem Invaliditätsgrad von 20 % ab. B. Die dagegen gerichtete Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 12. August 2010 ab. C. H._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der Entscheid des Versicherungsgerichts und die Verfügung der IV-Stelle seien aufzuheben; es seien die gesetzlich geschuldeten Leistungen, insbesondere eine Rente der Invalidenversicherung, zuzusprechen; eventualiter sei die Sache zur weiteren Sachverhaltsabklärung an die Beschwerdegegnerin zurückzuweisen und ihm zumindest eine zeitlich befristete Rente zuzusprechen; zudem beantragt er die Gewährung der unentgeltlichen Prozessführung und Bestellung eines unentgeltlichen Rechtsbeistandes. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung, die IV-Stelle beantragt Abweisung der Beschwerde. D. Mit Schreiben vom 4. November 2010 teilt das Bundesgericht H._ mit, dass mit Rücksicht auf das Gesuch um unentgeltliche Rechtspflege einstweilen von der Einforderung des Kostenvorschusses abgesehen und über das Gesuch erst später entschieden werde.