Sachverhalt:
A. Der 1965 geborene B._ bezog vom 1. Juli 2003 bis 30. Juni 2004 eine ganze Rente der Invalidenversicherung samt Zusatzrente für die Ehefrau und zwei Kinderrenten (Einspracheentscheid vom 15. Juni 2006). Im Dezember 2009 ersuchte er um Neubeurteilung des Invaliditätsgrades. Nach Abklärungen (u.a. Expertise des Instituts X._ vom 27. Januar 2011) verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 8. September 2011 einen Rentenanspruch.
B. Die Beschwerde des B._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 11. September 2012 ab.
C. B._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 11. September 2012 sei aufzuheben und ihm, allenfalls gestützt auf ein einzuholendes medizinisches Gerichtsgutachten, eine Invalidenrente zuzusprechen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Der Beschwerdeführer bestreitet den Beweiswert des Gutachtens des Instituts X._ vom 27. Januar 2011 (vgl. Urteil 9C_726/2012 vom 31. Oktober 2012 E. 1 mit Hinweisen).
1.1 In formeller Hinsicht macht er geltend, er habe die Gutachtenstelle abgelehnt, ohne dass die IV-Stelle eine anfechtbare Zwischenverfügung erlassen habe. In diesem Zusammenhang verweist er auf BGE 137 V 210 E. 3.4.2.6 S. 256. Die Vorinstanz hat zum selben Einwand einlässlich Stellung genommen. Der Beschwerdeführer legt auch nicht ansatzweise dar, inwiefern die betreffenden Erwägungen (Bundes-)Recht verletzen (Art. 41 Abs. 1 und 2 BGG).
1.2 In materieller Hinsicht bringt er vor, die Expertise sei unvollständig, weil sie keine abschliessende Beurteilung der Arbeitsfähigkeit enthalte. Es werde ausdrücklich offen gelassen, ob die Einschränkung der Arbeitsfähigkeit in einer einhändig ausgeübten Verweisungstätigkeit 20 % oder 60 % betrage. Mit der Feststellung, er sei in einer adaptierten Tätigkeit zu 80 % arbeitsfähig, setze sich die Vorinstanz sinngemäss an die Stelle der medizinischen Sachverständigen und überschreite in unstatthafter und unhaltbarer Weise ihre Kompetenzen.
1.2.1 Die Gutachter des Instituts X._ waren zum Ergebnis gelangt, der Explorand sei für eine körperlich leichte Tätigkeit mit fast ausschliesslichem Einsatz der rechten Hand reduziert arbeits- und leistungsfähig. Sie konnten sich jedoch nicht auf eine definitive Einschätzung der Arbeitsfähigkeit festlegen, da unterschiedliche und plausible Argumente vorlägen, die eine höhergradige (mehr als 60 %), aber auch eine geringe oder gar keine Einschränkung begründen könnten. Für die definitive Einschätzung der Arbeitsfähigkeit erachteten sie (daher) eine Beobachtung im Alltag als hilfreich, wobei bei Bedarf die betreffenden Aufnahmen der Gutachtenstelle zur Evaluation vorgelegt werden könnten.
1.2.2 Die Diskrepanz in Bezug auf den Grad der Einschränkung der Arbeitsfähigkeit resultierte daher, dass sich der orthopädische und der handchirurgische Gutachter über das Ausmass der Myoklonien (Muskelzuckungen) der linken oberen Extremität uneinig waren. Im Wesentlichen aus den in der Expertise angeführten Gründen, die insbesondere nach Auffassung des Orthopäden des Instituts X._ gegen ein häufiges und intensives Auftreten der Myoklonien sprachen, hat die Vorinstanz lediglich aus psychischen Gründen eine Einschränkung der Arbeitsfähigkeit von 20 % in einer adaptierten Tätigkeit angenommen. Dagegen wendet der Beschwerdeführer zu Recht ein, dass die Gutachter trotz Zweifeln hinsichtlich der Konsistenz der geklagten, auch während der Untersuchung aufgetretenen Myoklonien eine dadurch bedingte Einschränkung der Arbeitsfähigkeit nicht ausschlossen. Unter diesen Umständen durfte die Vorinstanz nur dann gestützt auf das Administrativgutachten die Arbeitsfähigkeit festsetzen, wenn von der von den Experten als notwendig (hilfreich) erachteten Abklärungsmassnahme (Beobachtung im Alltag) keine verwertbaren Erkenntnisse zu erwarten waren.
1.2.3 Die Vorinstanz hat zur Begründung ihres Standpunktes, weshalb die Arbeitsfähigkeit in einer adaptierten Tätigkeit lediglich aus psychischen Gründen eingeschränkt sei, auch auf den Bericht der BEFAS vom 5. Oktober 2009 hingewiesen, wo sich der Versicherte vom 31. August bis 25. September 2009 zwecks Abklärung u.a. von Belastbarkeit und Motivation für berufliche Massnahmen aufgehalten hatte. Danach habe sich das Zucken und Ausschlagen des Armes bei stillen Bewegungen in Grenzen gehalten und bei Herantreten und Ansprechen seien diese Handlungen häufiger geworden, was gemäss Vorinstanz darauf schliessen lasse, dass in unbeobachteten Situationen nur ein geringes Zucken erfolge. Der BEFAS-Bericht vom 5. Oktober 2009 war auch den Gutachtern des Instituts X._ bekannt. Darauf Bezug nehmend hielten sie fest, dass eine berufliche Eingliederung durch die während der Abklärung demonstrierte Leistungseinschränkung verunmöglicht werde. Die Experten einschliesslich Orthopäde erachteten somit auch in Kenntnis des in diesem Bericht beschriebenen Verhaltens des Versicherten in der Gesamtbeurteilung zusätzliche Abklärungen als erforderlich für die definitive Einschätzung der Arbeitsfähigkeit. Dabei ist offenbar die "Beobachtung im Alltag" in einem weiten Sinne zu verstehen, nicht nur im Rahmen einer beruflichen Abklärungsmassnahme (Arbeitstraining, Observation). Darüber konnte sich die Vorinstanz nicht hinwegsetzen, woran die Beurteilung des regionalen ärztlichen Dienstes vom 23. Februar 2011 nichts ändert, und zwar umso weniger, als die Beschwerdegegnerin in der vorinstanzlichen Vernehmlassung ebenfalls die Einholung eines Gerichtsgutachtens beantragte. Indem sie gleichwohl die Arbeitsfähigkeit festgesetzt hat, hat sie gleichsam das Ergebnis der von den medizinischen Sachverständigen als notwendig erachteten Abklärungen vorweggenommen, was unter den gegebenen Umständen willkürliche antizipierte Beweiswürdigung ist (Urteil 4A_733/2011 vom 16. Juli 2012 E. 4.1).
1.3 Die weiteren Rügen betreffend den Beweiswert des Gutachtens des Instituts X._ vom 27. Januar 2011 sind nicht stichhaltig:
1.3.1 Aus der Expertise geht klar hervor, dass von Seiten der rechten Schulter und des Rückens sowie der somatoformen Schmerzstörung die Arbeitsfähigkeit nicht in nennenswerter Weise eingeschränkt ist. Insbesondere hatte der orthopädische Gutachter die Befunde eines nicht auszuschliessenden subakromialen Impingement sowie einer breitbasigen Diskusprotrusion L5/S1 ohne Hernierung in seine Beurteilung miteinbezogen, von wo sie Eingang in die Gesamtbeurteilung fanden.
1.3.2 Der BEFAS-Bericht vom 5. Oktober 2009 war den Experten bekannt und wurde von ihnen berücksichtigt (vorne E. 1.2.3).
1.3.3 Gegen das Bestehen eines zusätzlichen psychischen Leidens neben der diagnostizierten leichten depressiven Episode spricht, dass der Beschwerdeführer, der die Absicht hatte, sich nach der Begutachtung einer psychotherapeutischen Behandlung zu unterziehen, keinen ärztlichen Bericht eingereicht hat, der diese Annahme stützen würde. Im Weitern waren dem psychiatrischen Gutachter die Muskelzuckungen bekannt. Prof. H._, auf dessen Bericht vom 13. Februar 2009 er sich beruft, erachtete selber diesbezüglich eine erneute Beurteilung als notwendig. Eine Angststörung hätte der Psychiater des Instituts X._ unzweifelhaft in Erwägung gezogen und diskutiert, wenn sich hierfür aufgrund von Anamnese und klinischem Befund Anhaltspunkte ergeben hätten. Schliesslich ist die Aussage in der Stellungnahme zur Selbsteinschätzung, der Explorand leide nicht unter einer schweren chronischen somatischen Erkrankung in dem Sinne zu verstehen, aus somatischer Sicht seien ihm durchaus Tätigkeiten zumutbar. Anzufügen bleibt, dass nach der Rechtsprechung eine leichte depressive Episode in der Regel keine psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer darstellt (Urteil 9C_673/2012 vom 28. November 2012 E. 3.3 mit Hinweisen).
2. Die IV-Stelle wird, allenfalls nach entsprechender Rückfrage bei der Gutachtenstelle, die geeigneten Massnahmen durchführen und danach über den streitigen Rentenanspruch neu verfügen. In diesem Sinne ist die Beschwerde begründet.
3. Bei diesem Ausgang des Verfahrens hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich 11. September 2012 und die Verfügung der IV-Stelle des Kantons Zürich vom 8. September 2011 werden aufgehoben. Die Sache wird an die Verwaltung zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung neu verfüge
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Sozialversicherungsgericht des Kantons Zürich hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Februar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Fessler