Sachverhalt:
A. Mit Verfügung vom 12. Mai 2010 verneinte die IV-Stelle des Kantons St. Gallen u.a. in Berücksichtigung der Expertise des Instituts X._ vom 11. November 2009 den Anspruch des M._ auf eine Rente der Invalidenversicherung.
B. In Gutheissung der Beschwerde des M._ hob das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. August 2012 die angefochtene Verfügung auf und sprach dem Versicherten eine Viertelsrente ab 1. Juli 2008 zu, unter Rückweisung der Sache an die IV-Stelle zur Festsetzung der Rentenbeträge.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 17. August 2012 sei aufzuheben.
M._ beantragt, die Beschwerde sei abzuweisen. Das kantonale Versicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Die Vorinstanz hat festgestellt, gemäss dem Gutachten des Instituts X._ vom 11. November 2009 sei der Versicherte zu 80 % arbeitsfähig in einer leidensadaptierten Tätigkeit. Davon ausgehend hat sie durch Einkommensvergleich (Art. 16 ATSG in Verbindung mit Art. 28a Abs. 1 IVG) einen Invaliditätsgrad von 42 % ermittelt, was Anspruch auf eine Viertelsrente gab (Art. 28 Abs. 2 IVG). Den Leistungsbeginn hat sie auf den 1. Juli 2008 festgesetzt.
2. Die Beschwerde führende IV-Stelle rügt mit ihren Vorbringen sinngemäss, die Vorinstanz habe Bundesrecht verletzt, indem sie das Vorliegen eines invalidisierenden psychischen Gesundheitsschadens bejaht habe.
3. 3.1 Im Gutachten des Instituts X._ vom 11. November 2009 wurden im Wesentlichen ein chronisches panvertebrales Schmerzsyndrom ohne radikuläre Ausstrahlung, eine koronare Herzkrankheit, eine leichte depressive Episode (ICD-10 F32.0) und (ohne Einschränkung auf die Arbeitsfähigkeit) eine Schmerzverarbeitungsstörung (ICD-10 F54) diagnostiziert. Bei einem solchen Krankheitsbild beurteilt sich die Frage, inwieweit eine Arbeitsunfähigkeit aus medizinisch-psychiatrischer Sicht als invalidisierend auch im rechtlichen Sinne (Art. 4 Abs. 1 IVG sowie Art. 3 Abs. 1 und Art. 6 ATSG) anzuerkennen ist, nach der mit BGE 130 V 352 begründeten Rechtsprechung.
Danach kommt einer anhaltenden somatoformen Schmerzstörung (ICD-10 F45.4) ebenso wie grundsätzlich sämtlichen pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage (BGE 136 V 279 E. 3.2.3 S. 283) nur ausnahmsweise invalidisierender, d.h. einen Rentenanspruch begründender Charakter zu. Entscheidend ist, ob und inwiefern die versicherte Person über psychische Ressourcen verfügt, die es ihr erlauben, trotz den subjektiv erlebten Schmerzen einer Arbeit nachzugehen (BGE 130 V 352 E. 2.2.4 S. 355; 127 V 294 E. 4b/cc in fine und E. 5a S. 299 unten). Umstände, die bei Vorliegen eines solchen Krankheitsbildes die Verwertung der verbliebenen Arbeitskraft auf dem Arbeitsmarkt als unzumutbar erscheinen lassen können, sind: Eine Komorbidität im Sinne eines vom Schmerzgeschehen losgelösten eigenständigen psychischen Leidens von erheblicher Schwere, Intensität, Ausprägung und Dauer, chronische körperliche Begleiterkrankungen mit mehrjährigem Krankheitsverlauf bei unveränderter oder progredienter Symptomatik ohne längerfristige Remission, sozialer Rückzug, ein verfestigter, therapeutisch nicht mehr angehbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn), unbefriedigende Ergebnisse von konsequent durchgeführten Behandlungen (auch mit unterschiedlichem therapeutischem Ansatz) und gescheiterte Rehabilitationsmassnahmen bei vorhandener Motivation und Eigenanstrengung der versicherten Person (BGE 132 V 65 E. 4.2.2 S. 71; 130 V 352 E. 2.2.3 S. 353 ff.; Urteil 9C_266/2012 vom 29. August 2012 E. 4.2.1).
Gestützt auf die fachärztlichen Stellungnahmen zum psychischen Gesundheitszustand und zu dem aus medizinischer Sicht (objektiv) vorhandenen Leistungspotenzial haben die rechtsanwendenden Behörden als Rechtsfrage zu prüfen, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine im Hinblick auf eine erwerbliche Tätigkeit nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung zu erlauben (Urteil 9C_936/2011 vom 21. März 2012 E. 3.1).
3.2 Die Vorinstanz hat die Gründe angeführt, weshalb ihres Erachtens die Gutachter in nachvollziehbarer Weise eine Einschränkung der Arbeitsfähigkeit von 20 % aus psychiatrischer Sicht attestiert hätten: Der Versicherte leide an einer langjährigen Problematik; er sei seit langem erheblich auf die Schmerzen fixiert; der Herzinfarkt habe ein nach wie vor bestehendes Gefühl der Einengung der Brust und eine psychische Fehlentwicklung ausgelöst; es bestehe ein langjähriger, unveränderter und chronifizierter Verlauf mit Therapieresistenz, was nur teilweise auf die ausgeprägte subjektive Krankheitsüberzeugung zurückzuführen sei; die Foerster'schen Kriterien seien gesamthaft teilweise erfüllt, was das Attest einer quantitativen Beeinträchtigung der Leistungsfähigkeit von 20 % rechtfertige; zu berücksichtigen seien weiter Begleiterkrankungen (Hyperthyreose, Adipositas, Hyperlipidämie, Hypertonie), welche die Belastbarkeit und das Arbeitstempo ebenfalls minderten; auch die erhebliche Selbstunsicherheit beim Bewegen draussen, die zumindest subjektiv empfundene Sturzneigung sowie die zusätzliche Verunsicherung durch die sehr schlechte Schulbildung wirkten sich ungünstig aus; die Ressourcenlage sei ausserordentlich schwach.
3.3 Dabei handelt es sich überwiegend nicht um Umstände, die nach den massgeblichen Kriterien eine Arbeitsunfähigkeit (auch) aus rechtlicher Sicht zu begründen vermögen, wie die IV-Stelle richtig vorbringt. Abgesehen davon äusserten sich die Gutachter des Instituts X._ nicht in dem von der Vorinstanz dargelegten Sinne. Diese hielten fest, die Arbeitsfähigkeit sei durch die leichte depressive Episode eingeschränkt. Der psychiatrische Gutachter führte aus, es handle sich beim Exploranden keineswegs um einen Ausnahmezustand betreffend die Kriterien der Zumutbarkeit. Die Kriterien nach Foerster seien nicht vollständig erfüllt: Es bestehe keine schwere komorbide Störung; es bestehe eine somatische Problematik, die aber prinzipiell behandelt werden könne; der Verlauf sei bereits mehrjährig, unverändert und chronifiziert, was ebenso wie die Therapieresistenz auch durch die ausgeprägte subjektive Krankheitsüberzeugung bedingt sei; ein sozialer Rückzug sei nicht ausgeprägt; ein primärer Krankheitsgewinn bestehe nicht.
Mit der IV-Stelle lassen diese fachärztlichen Aussagen nach der Rechtsprechung nicht den Schluss zu, der Versicherte verfüge nicht über hinreichende psychische Ressourcen, um bei zumutbarer Willensanstrengung trotz den subjektiv erlebten Schmerzen einer ganztägigen Arbeit, die dem Anforderungsprofil aus somatischer Sicht Rechnung trägt, nachzugehen (BGE 130 V 352 E. 2.2.4 S. 355; 127 V 294 E. 4b/cc in fine und E. 5a S. 299 unten). Dies hat umso mehr zu gelten, als eine leichte depressive Episode in der Regel keine psychische Komorbidität von erheblicher Schwere, Intensität, Ausprägung und Dauer darstellt (SVR 2012 IV Nr. S. 1, 9C_1040/2010 E. 3.4.2.1; Urteil 9C_736/2011 vom 7. Februar 2012 E. 4.2.2.1). Ebenfalls gelten leichte bis höchstens mittelschwere psychische Störungen aus dem depressiven Formenkreis grundsätzlich als therapeutisch angehbar (Urteil 9C_ 302/2012 vom 13. August 2012 E. 4.3.2 mit Hinweisen); gemäss dem Gutachten des Instituts X._ ist das Behandlungspotenzial noch nicht ausgeschöpft.
3.4 Die rechtsdogmatischen Überlegungen der Vorinstanz in E. 3 des angefochtenen Entscheids sind nicht zielführend. Die Vermutung der Überwindbarkeit der Schmerzstörung (SVR 2005 IV Nr. 6 S. 21, I 457/ 02 E. 7.3 [nicht publ. in: BGE 130 V 396]; Urteil 9C_148/2012 vom 13. August 2012 E. 2.1) kann zwar umgestossen werden. Ob dies gelingt, beurteilt sich indessen nach der einschlägigen Rechtsprechung gemäss BGE 130 V 352 und seitherige Urteile und kann vorliegend, wie in E. 3.3 hievor gezeigt, nicht auf der Grundlage des Gutachtens des Instituts X._ vom 11. November 2009 erbracht werden. Die Vorbringen in der Vernehmlassung des Beschwerdegegners geben zu keiner anderen Betrachtungsweise Anlass.
4. Die vorinstanzliche Invaliditätsbemessung ist weiter nicht bestritten. Bei einer Arbeitsfähigkeit von 100 % auch in psychischer Hinsicht ergibt sich bei im Übrigen unveränderten Berechnungsfaktoren ein Invaliditätsgrad von 28 %, was für den Anspruch auf eine Rente nicht ausreicht (Art. 28 Abs. 2 IVG). Die Beschwerde ist begründet.
5. Bei diesem Ausgang des Verfahrens hat grundsätzlich der Beschwerdegegner die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 17. August 2012 aufgehoben.
2. Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird dem Beschwerdegegner Rechtsanwalt Marco Bivetti als Rechtsbeistand beigegeben.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes einstweilen auf die Gerichtskasse genommen.
4. Rechtsanwalt Marco Bivetti wird aus der Gerichtskasse eine Entschädigung von Fr. 2'000.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler