Sachverhalt: A. Der 1963 geborene F._ hatte einen Verkehrsunfall erlitten. In der Folge war er mehrmals bei der Invalidenversicherung angemeldet. Im Juli 2007 meldete er sich ein weiteres Mal an und ersuchte um Eingliederungsmassnahmen beruflicher Art und eine Rente. Im Rahmen der Abklärung der gesundheitlichen und erwerblichen Verhältnisse wurde er am 30. Juni/1. Juli sowie am 10. und 16. Juli 2008 interdisziplinär untersucht und begutachtet (Expertisen des Instituts X._ vom 30. September 2008 und des Zentrums Y._ vom 17. November 2008). Nachdem sich F._ anlässlich der Besprechung seiner "Situation im Arbeitsmarkt" am 8. Juli 2009 in dem Sinne geäussert hatte, er fühle sich subjektiv 100 % arbeitsunfähig und möchte auch keine Integrationsmassnahmen (z.B. Belastbarkeitstraining) geprüft haben, verfügte die IV-Stelle des Kantons Zürich am 13. September 2009, dass die Eingliederungsberatung nicht aufgenommen werde. Mit einer weiteren Verfügung vom 28. September 2010 verneinte sie den Anspruch des Versicherten auf eine Invalidenrente. B. Die Beschwerde des F._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Februar 2012 ab. C. F._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 9. Februar 2012 sei aufzuheben und die Sache an die Vorinstanz oder an die IV-Stelle zurückzuweisen, damit diese, nach Vornahme weiterer Abklärungen, neu entscheide bzw. verfüge. Das kantonale Sozialversicherungsgericht und die IV-Stelle verzichten auf eine Stellungnahme und einen Antrag zur Beschwerde. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.