Sachverhalt: A. Mit Verfügung vom 12. Mai 2010 verneinte die IV-Stelle des Kantons St. Gallen u.a. in Berücksichtigung der Expertise des Instituts X._ vom 11. November 2009 den Anspruch des M._ auf eine Rente der Invalidenversicherung. B. In Gutheissung der Beschwerde des M._ hob das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. August 2012 die angefochtene Verfügung auf und sprach dem Versicherten eine Viertelsrente ab 1. Juli 2008 zu, unter Rückweisung der Sache an die IV-Stelle zur Festsetzung der Rentenbeträge. C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 17. August 2012 sei aufzuheben. M._ beantragt, die Beschwerde sei abzuweisen. Das kantonale Versicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.