Sachverhalt:
A. Der 1963 geborene F._ hatte einen Verkehrsunfall erlitten. In der Folge war er mehrmals bei der Invalidenversicherung angemeldet. Im Juli 2007 meldete er sich ein weiteres Mal an und ersuchte um Eingliederungsmassnahmen beruflicher Art und eine Rente. Im Rahmen der Abklärung der gesundheitlichen und erwerblichen Verhältnisse wurde er am 30. Juni/1. Juli sowie am 10. und 16. Juli 2008 interdisziplinär untersucht und begutachtet (Expertisen des Instituts X._ vom 30. September 2008 und des Zentrums Y._ vom 17. November 2008). Nachdem sich F._ anlässlich der Besprechung seiner "Situation im Arbeitsmarkt" am 8. Juli 2009 in dem Sinne geäussert hatte, er fühle sich subjektiv 100 % arbeitsunfähig und möchte auch keine Integrationsmassnahmen (z.B. Belastbarkeitstraining) geprüft haben, verfügte die IV-Stelle des Kantons Zürich am 13. September 2009, dass die Eingliederungsberatung nicht aufgenommen werde. Mit einer weiteren Verfügung vom 28. September 2010 verneinte sie den Anspruch des Versicherten auf eine Invalidenrente.
B. Die Beschwerde des F._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Februar 2012 ab.
C. F._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 9. Februar 2012 sei aufzuheben und die Sache an die Vorinstanz oder an die IV-Stelle zurückzuweisen, damit diese, nach Vornahme weiterer Abklärungen, neu entscheide bzw. verfüge.
Das kantonale Sozialversicherungsgericht und die IV-Stelle verzichten auf eine Stellungnahme und einen Antrag zur Beschwerde. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.
Erwägungen:
1. Gemäss den Gutachten des Instituts X._ vom 30. September 2008 und des Zentrums Y._ vom 17. November 2008 sind dem Beschwerdeführer mittelfristig bzw. langfristig (vgl. E. 3.3 hinten) leichte, wechselbelastende Tätigkeiten ohne vermehrte Überkopfarbeit, mit der Möglichkeit, Sitzen und Stehen zu unterbrechen, und bei Vermeidung eines hochrepetitiven Einsatzes und vermehrten Krafteinsatzes der rechten Hand ganztags zumutbar. Aus verhaltensneurologischer Sicht bestehe eine Einschränkung der Arbeitsfähigkeit von 10-20 %. Die Vorinstanz hat auf die beiden von der IV-Stelle eingeholten Expertisen abgestellt, was nach der insoweit nicht bestrittenen Invaliditätsbemessung durch Einkommensvergleich (Art. 16 ATSG in Verbindung mit Art. 28a Abs. 1 IVG) in der angefochtenen Verfügung einen nicht anspruchsbegründenden Invaliditätsgrad von 36 % ergab (Art. 28 Abs. 2 IVG).
2. Der Beschwerdeführer rügt, die Vorinstanz habe die Kriterien für die Beurteilung des Beweiswertes der Gutachten vom 30. September 2008 und 17. November 2008 falsch angewendet und überdies seinen Gehörsanspruch verletzt, indem sie sich völlig unzureichend mit seinen Vorbringen auseinandergesetzt und nicht zureichend und nachvollziehbar begründet habe, weshalb sie die erhobenen Einwände verwerfe.
3. 3.1 Die Vorinstanz hat in E. 2.2 ihres Entscheids die Einwendungen des Beschwerdeführers gegen die beiden Expertisen erwähnt und ist in E. 4.2 und 4.3 darauf eingegangen. Insbesondere hat sie sich zum Vorhalt der unvollständigen Anamneserhebung und der ungenügenden Auseinandersetzung mit den geklagten Beschwerden geäussert. Von einer Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) oder der daraus abgeleiteten Begründungspflicht (Art. 61 lit. h ATSG und Art. 112 Abs. 1 lit. b BGG) kann somit nicht gesprochen werden. Im Übrigen war es dem Beschwerdeführer ohne weiteres möglich, das vorinstanzliche Erkenntnis sachgerecht anzufechten (vgl. Urteil 9C_936/2011 vom 21. März 2012 E. 3.3).
3.2 Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (BGE 125 V 351 E. 3a S. 352; Urteil 9C_179/2011 vom 16. Mai 2011 E. 3.1.1).
3.2.1 Zur Kritik der unvollständigen Anamneseerhebung hat die Vorinstanz Stellung genommen und dargelegt, weshalb dieser Umstand den Beweiswert des Gutachtens des Instituts X._ vom 30. September 2008 nicht entscheidend zu mindern vermag. Ihren nicht bestrittenen Erwägungen ist beizufügen, dass den Experten bekannt war, dass der Beschwerdeführer in einer betreuten Wohngruppe lebte, aufgrund der Akten in der Institution Z._. Es ist davon auszugehen, dass sie dort Auskünfte eingeholt hätten, wenn sie es als nötig erachtet hätten. Weiter lässt der Beschwerdeführer unerwähnt, dass das in den Berichten der Institutionsleitung vom 8. September und 7. Oktober 2009 dargestellte Verhalten im Alltag und im Zusammenhang mit nicht näher umschriebenen Arbeiten auf eine verminderte Stresstoleranz und eine erniedrigte Frustrationstoleranz schliessen lässt, was auch im Rahmen der Begutachtung festgestellt wurde. Diesen Einschränkungen trugen die Gutachter insofern Rechnung, als sie wegen der Gefahr rascherer Überforderung mit erhöhter Fehleranfälligkeit und einer dadurch erhöhten Suchtgefährdung aus verhaltensneurologischer Sicht eine um 10-20 % reduzierte Arbeitsfähigkeit postulierten. Es kann somit entgegen den Vorbringen in der Beschwerde nicht gesagt werden, die Informationen aus den genannten Berichten stünden grösstenteils im Widerspruch zu dem, was der psychiatrische Experte des Instituts X._ meine. Die IV-Stelle nahm bei dem auf statistischen Grundlagen ermittelten Invalideneinkommen aufgrund der verminderten Stresstoleranz und der damit verbundenen Überforderung den maximal zulässigen Abzug von 25 % vor (vgl. BGE 126 V 75).
3.2.2 Im Weitern ist nach Auffassung des Beschwerdeführers das Gutachten des Instituts X._ insofern nicht nachvollziehbar und widersprüchlich, als trotz der zahlreichen Diagnosen eine erhebliche psychisch-psychiatrische Komorbidität verneint und er als emotional durchgehend gefestigt bezeichnet worden sei. Bei den betreffenden Diagnosen handelt es sich indessen um Aussagen im Rahmen der kriterienorientierten Diskussion der Befunde, insbesondere weshalb keine Persönlichkeitsstörung vorliegt, vielmehr eine somatoforme Schmerzverarbeitungsstörung (ICD-10 F45.4) bei einer vulnerablen Habitualpersönlichkeitsstruktur im Sinne einer akzentuierten Persönlichkeit mit ich-schwachen Zügen gegeben ist. Charakteristisch für eine solche Störung ist, dass der Schmerz in Verbindung mit tiefgreifenden emotionalen Konflikten oder schwerwiegenden psychosozialen Problemen auftritt (vgl. BGE 130 V 396 E. 6.1 S. 400), was gemäss Gutachten beim Exploranden zutraf. Von einem unauflösbaren Widerspruch dazu, dass nach dem persönlichen Eindruck des psychiatrischen Experten der Beschwerdeführer emotional durchgehend gefestigt gewirkt hatte, kann jedoch nicht gesprochen werden. Emotionale Konflikte treten offenbar in erster Linie in Stresssituationen auf. Gemäss Gutachten besteht eine ich-schwache Selbstwertproblematik, die sich vor allem in einer erniedrigten Frustrationstoleranz bei sensitiver Kränkbarkeit und emotioneller Labilisierung unter Stress zeigt. Die sich daraus ergebenden Folgen für die Arbeitsfähigkeit sind berücksichtigt worden (vorne E. 3.2.1). Im Übrigen haben die Gutachter des Zentrums Y._ und des Instituts X._ eine engmaschige fachpsychiatrische Betreuung und Begleitung als notwendig, sinnvoll und zweckmässig erachtet. Zur Inanspruchnahme des therapeutischen Angebotes im Hinblick auf eine Verbesserung der Arbeitsfähigkeit oder deren Erhaltung ist der Beschwerdeführer im Rahmen der Schadenminderungspflicht (BGE 113 V 22 E. 4a S. 28) jederzeit gehalten (Urteil 9C_641/2008 vom 9. Dezember 2008 E. 3.2.2).
3.2.3 Im Gutachten des Instituts X._ vom 30. September 2008 sodann wurden eine klinisch-explorativ gute Kooperation, adäquate Leistungsbereitschaft, keine Hinweise für forcierte Aggravation und/oder Simulation im Untersuchungsgang erwähnt. Damit kontrastiert in gewisser Weise die Feststellung im Gutachten des Zentrums Y._ vom 17. November 2008, wonach die Beobachtungen bei den Tests im Rahmen der Evaluation der funktionellen Leistungsfähigkeit auf eine Selbstlimitierung mit Tendenz zur Symptomausweitung hinwiesen, die Konsistenz bei den Tests als mässig und die Leistungsbereitschaft als fraglich beurteilt wurde. Der Beschwerdeführer weist insoweit zwar richtig auf diese Diskrepanz hin, ohne indessen darzutun, inwiefern die seines Erachtens unzutreffende Annahme, was sein Verhalten bei den Tests anbetrifft, zu einer zu weit gefassten Umschreibung resp. einer zu positiven Einschätzung der Arbeitsfähigkeit führte. Die Gutachter selber hielten fest, die Belastbarkeit könne aufgrund der Selbstlimitierung vor allem in den Hebetests nicht abschliessend beurteilt werden, liege jedoch allgemein im Bereich einer im Minimum leichten, wechselbelastenden Arbeit.
3.2.4 Mit seiner Rüge, die geklagten Beschwerden seien unvollständig bzw. teilweise unrichtig erhoben worden, übt der Beschwerdeführer weitgehend unzulässige appellatorische Kritik an der vorinstanzlichen Sachverhaltsfeststellung und Beweiswürdigung (Art. 97 Abs. 1 BGG; BGE 137 II 353 E. 5.1 S. 356; Urteil 9C_735/2010 vom 21. Oktober 2010 E. 3). Dasselbe gilt auch in Bezug auf die Vorbringen zur Entwicklung des Gesundheitszustandes nach der Begutachtung. In diesem Zusammenhang lässt der Beschwerdeführer unerwähnt, dass ihm die IV-Stelle im Rahmen des Vorbescheidverfahrens Gelegenheit zur Stellungnahme u.a. auch zu den Berichten des Spitals U._ vom 23. und 28. Juli 2010 gegeben hatte (Mitteilung vom 20. August 2010), von welcher Möglichkeit er jedoch keinen Gebrauch machte.
Nicht von Bedeutung ist die Frage und daher nicht näher darauf einzugehen, was diagnostisch unter der Formulierung "Zustand nach" zu verstehen ist.
3.3 Schliesslich bringt der Beschwerdeführer vor, es bestünden insofern Unsicherheiten und Unklarheiten, als die begutachtenden Ärzte offenbar adaptive Rekonditionierungen und Aktivierungen oder Arbeitstrainings für nötig erachteten, um die prognostizierte Arbeitsfähigkeit zu erreichen. Bis jetzt seien jedoch keine solchen Massnahmen aktenkundig.
3.3.1 Im Gutachten des Instituts X._ vom 30. September 2008 wurde festgehalten, dem Versicherten sei aus psychiatrischer Sicht zumutbar, nach "adaptiver Rekonditionierung und Aktivierung" im Rahmen eines Arbeitstrainings im Umfang von initial 50 %, mittelfristig von 100 % einer ausbildungsadäquaten und der körperlichen Problematik angepassten Verweistätigkeit nachzugehen. Im Schreiben vom 2. Februar 2009 erachteten die Gutachter eine Zeitspanne von 1-2 Monate für die "adaptive Rekonditionierung und Aktivierung" u.a. aus sozial-praktischen Gründen als sinnvoll. Im Gutachten des Zentrums Y._ vom 17. November 2008 wurde festgestellt, es sei von einer vollen Arbeitsunfähigkeit in der angestammten Tätigkeit als Hilfsarbeiter seit dem 17. Juni 2007 auszugehen. Es bestehe eine vorübergehende Arbeitsfähigkeit (recte: Arbeitsunfähigkeit) mit Steigerung auf ein volles Pensum im Verlauf. Langfristig seien mindestens leichte, wechselbelastende Tätigkeiten ohne vermehrte Überkopfarbeit, mit der Möglichkeit, Sitzen und Stehen zu unterbrechen, sowie bei Vermeidung eines hochrepetitiven Einsatzes und vermehrten Krafteinsatzes der rechten Hand ganztags zumutbar. Aus verhaltensneurologischer Sicht sei die Arbeitsfähigkeit jedoch um 10-20 % eingeschränkt. Auf diese Einschätzung, welche die Beurteilung des Instituts X._ interdisziplinär mitberücksichtigt, ist abzustellen.
3.3.2 Aus dem Umstand, dass bisher noch keine in den Gutachten des Instituts X._ vom 30. September 2008 und des Zentrums Y._ vom 17. November 2008 als notwendig erachtete Massnahmen "adaptiver Rekonditionierung und Aktivierung" im Rahmen eines Arbeitstrainings durchgeführt worden waren, ergibt sich nichts zu Gunsten des Beschwerdeführers. Die IV-Stelle beabsichtigte, seine "Situation im Arbeitsmarkt" abzuklären. Am 8. Juli 2009 fand eine Besprechung mit der zuständigen Berufsberaterin statt. Dabei äusserte er sich dahingehend, er fühle sich subjektiv 100 % arbeitsunfähig und möchte keine Integrationsmassnahmen (z.B. Belastbarkeitstraining) geprüft haben. Gemäss dem Verlaufsprotokoll vom 13. Juli 2009 formulierte er ein kategorisches Nein. Die IV-Stelle verfügte am 13. September 2009, dass die Eingliederungsberatung nicht aufgenommen werde. Bei einer solchen Krankheitsüberzeugung war die medizinisch indizierte adaptive Rekonditionierung/Aktivierung von vornherein zum Scheitern verurteilt, weshalb bis zum Zeitpunkt der vorinstanzlich angefochtenen Verfügung vom 28. September 2010 kein Rentenanspruch bestand, auch nicht vorübergehend. Die Beschwerde ist somit unbegründet.
4. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten grundsätzlich dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird dem Beschwerdeführer Rechtsanwalt Viktor Györffy als Rechtsbeistand beigegeben.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Gerichtskasse genommen.
4. Rechtsanwalt Viktor Györffy wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Juni 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler